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Вторая  кнщга  двухтомной  монографии  по  тео- 
ретическим основам  статистической  радиотехники 
посвящена  вопросам  оптимального  статистическо- 
го синтеза.  Она  содержит  минимально  необходи- 
мые сведения  из  теории  решений  и теории  оценок 
параметров  распределений  случайных  величин. 
Подробно  освещаются  основные  положения  стати- 
стики случайных  процессов  (ортогональные  раз- 
ложения, функционалы  правдоподобия,  провер- 
ка гипотез,  оценки  параметров,  корреляционных 
функций  и энергетических  спектров).  Рассматри- 
ваются вопросы  линейной  и нелинейной  фильтра- 
ции. Излагается  теория  оптимального  синтеза 
устройств  обнаружения  и различения  сигналов 
на  фоне  шума,  а также  устройств,  предназначен- 
ных для  получения  оценок  параметров  сигналов. 
Учитывается  специфика  радиосигналов  как  узко- 
полосных процессов.  Даны  элементы  теории  клас- 
сификации с обучением.  Включены  новые  резуль- 
таты, полученные  в последние  годы. 

Книга  может  служить  учебным  пособием  при 
изучении  статистической  радиотехники  и дис- 
циплин, примыкающих  к ней.  Как  и первая  книга, 
она  рассчитана  на  научных  работников,  инжене- 
ров, преподавателей,  аспирантов  и студентов  стар- 
ших курсов  радиотехнических  вузов. 

Табл.  5,  рис.  32,  библ.  назв.  160. 
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ПРЕДИСЛОВИЕ 


Методы  статистической  радиотехники,  используемые 
для  анализа  и синтеза  устройств  и систем  различного  на- 
значения, продолжают  широким  фронтом  охватывать  обла- 
сти радиотехнических  приложений.  Однако  бурное  раз- 
витие новых  методов  и подходов,  столь  характерное  в наше 
время  для  многих  научных  дисциплин,  приводит  к тому, 
что  зачастую  большая  часть  потока  информации  перехле- 
стывает плотину  человеческих  возможностей  и безвозврат- 
но утекает.  Оказалось,  например,  что  минимально  необхо- 
димый интервал  времени  для  написания  и издания  книги, 
в котором  могут  быть  обобщены  и систематизированы 
результаты,  относящиеся  к теоретическим  основам  стати- 
стической радиотехники,  соизмерим  с периодом,  за  кото- 
рый абсолютное  количество  публикуемых  работ  по  этой 
тематике  удваивается. 

План  задуманной  около  пяти  лет  тому  назад  двухтом- 
ной монографии  по  теоретическим  основам  статистической 
радиотехники,  реализация  которого  завершается  выходом 
этой  второй  книги,  не  подвергался  существенной  коррек- 
тировке. Поэтому  многие  интересные  выводы,  полученные 
математиками  и радистами  в самые  последние  годы, 
не  нашли  должного  отражения  как  в первой  книге*),  посвя- 
щенной методам  анализа,  так  и в представляемой,  в кото- 
рой излагаются  методы,  характерные  для  решения  задач 
синтеза.  Ограничения,  связанные  с объемом  этой  книги 
и сроком  ее  издания,  явились  одной  из  причин  того,  что 
такие  актуальные  (хотя  и не  завершенные)  разделы,  как 
непараметрические  методы,  адаптивные  системы  и стоха- 
стические дифференциальные  уравнения,  либо  очень  сжато 
освещены  в ней,  либо  вовсе  опущены.  Не  рассматриваются 
также  современные  методы  отыскания 'экстремумов  функ- 

*)  Б.  Р.  Левин.  Теоретические  основы  статистической  радио- 
техники. Книга  первая,  Изд-во  «Советское  радио»,  1966, 
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ционалов,  составляющих  предмет  математического  про- 
граммирования. Основное  внимание  уделено  параметриче- 
ской теории  синтеза  с полной  априорной  информацией. 
Эта  часть  теории  статистического  синтеза  отличается  наи- 
большей завершенностью  и становится  уже  в известной 
мере  классической. 

Книга  соответствует  второй  части  аспирантского  курса, 
который  читался  автором  в течение  ряда  лет.  Хотя  основ- 
ными потребителями  будут,  как  и первой  книги,  аспиранты, 
научные  работники,  инженеры-разработчики  высокой  ква- 
лификации и математики,  работающие  в промышленности, 
возможно,  она  найдет  место  в ряду  средств  привлечения 
«неофитов»  в лоно  статистической  радиотехники. 

Обе  наши  книги,  объединенные  одним  и тем  же  назва- 
нием, представляют  единое  целое.  Однако  те,  кто  знаком 
с вероятностными  методами  анализа,  могут  пользоваться 
этой  книгой  независимо  от  первой,  преодолевая  некоторые 
неудобства,  связанные  с ссылками  на  первую  книгу,  а так- 
же с символикой,  которая,  к сожалению,  еще  не  унифи- 
цирована. 

Каждый,  кому  приходилось  выпускать  в свет  печатное 
слово,  знает  насколько  бывают  важны  предварительные 
обсуждения  с рецензентами  или  с коллегами,  любезно 
согласившимися  затратить  часть  своего  времени  (кото- 
рого, увы,  всегда  нехватает)  на  ознакомление  с руко- 
писью. Постоянными  помощниками  на  всех  этапах  подго- 
товки к изданию  этой  книги  были  аспиранты,  прослушав- 
шие курс  моих  лекций.  Приношу  искреннюю  благодарность 
всем,  кому  я обязан  за  внимание  к мрей  работе,  в особен- 
ности доктору  технических  наук  И.  А.  Большакову,  док- 
тору физико-математических  наук  Б.  С.  Флейшману,  кан- 
дидатам технических  наук  В.  И.  Асатуряну,  Я.  А.  Фомину, 
Ю.  Б.  Черняку,  аспирантам  Л.  С.  Розову  и Ю.  С.  Шина- 
кову.  В той  или  иной  степени  каждый  из  них  способствовал 
улучшению  изложения,  но  за  оставшиеся  незамеченными 
недостатки  повинен  исключительно  автор  этой  книги. 

Пользуюсь  случаем  выразить  признательность  авторам 
рецензий  на  мою  первую  книгу,  появившихся  в некоторых 
советских  и зарубежных  журналах,  а также  всем,  кто 
прислал  мне  полезные  замечания  и пожелания. 

Наконец  (но  не  в меньшей  степени),  я благодарен  кол- 
лективу сотрудников  издательства  «Советское  радио»,  кото- 
рый не  только  помогал  мне,  но  и активно  стимулировал 
работу  вот  уже  на  протяжении  полутора  десятка  лет. 

Москва,  июнь  1967  г. 


ВВЕДЕНИЕ 


Анализ  и синтез.  При  разработке  систем  передачи 
информации  (связи,  радиолокации,  управления  и др.) 
и отдельных  элементов  этих  систем  постоянно  возникают 
задачи,  которые  могут  быть  классифицированы  как  задачи 
двух  основных  видов:  анализа  и синтеза.  В наиболее  общем 
виде  указанные  задачи  могут  быть  сформулированы  сле- 
дующим образом.  Задача  анализа  (прямая):  заданы  харак- 
теристики системы  (элемента)  и процесса,  действующего 
на  входе;  необходимо  найти  характеристики  процесса 
на  выходе  системы  (элемента).  Задача  синтеза  (обратная): 
заданы  характеристика  процесса  на  входе  и желаемая 
характеристика  процесса  на  выходе;  необходимо  найти  такую 
систему,  которая  преобразовывала  бы  процесс  с заданной 
характеристикой  в процесс  с желаемой  характеристикой. 

В статистической  радиотехнике  объектом  исследований 
являются  различные  сигналы  и помехи,  представляющие 
реализации  случайных  процессов  (и  лишь  в частных  слу- 
чаях — детерминированных).  Задачи  анализа  при  этом 
состоят  в определении  необходимых  вероятностных  харак- 
теристик процессов  на  выходе  линейных  и нелинейных 
систем  при  условии,  что  построение  и характеристики 
систем  заданы  и дано  вероятностное  описание  процессов 
на  входе  (с  той  или  иной  подробностью,  необходимой  для 
решения  конкретной  задачи).  Примером  анализа  является 
вычисление  отношения  мощности  сигнала  к мощности 
шума  на  выходе  системы,  иногда  используемое  в качестве 
показателя  помехозащищенности.  Для  решения  задач  ана- 
лиза используются  математические  методы  теории  вероят- 
ностей и теории  случайных  процессов.  Этим  методам  в их 
приложении  к задачам  вероятностного  анализа  была  посвя- 
щена наша  первая  книга  [3]. 

Статистическая  формулировка  задачи  оптимального  син- 
теза состоит  в определении  наилучшего  (в  некотором  смысле) 
образа  действий,  позволяющего  по  наблюдаемой  реализа- 
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ции  входного  воздействия  принять  решение  о представ- 
ляющих интерес  характеристиках  входного  воздействия, 
как  случайного  процесса  (совокупности  реализаций).  Иначе 
говоря,  необходимо  отыскать  оптимальную  систему  (алго- 
ритм обработки  наблюдаемого  входного  воздействия),  вы- 
ход которой  представлял  бы  решение  или  число,  харак- 
теризующее неизвестные  свойства  наблюдаемого  явления. 
Выход  системы,  представлен  ли  он  в форме  решения  или 
в числовой  форме,  является  функционалом  от  наблюдаемой 
реализации.  Для  определения  вероятностных  характери- 
стик этого  функционала  привлекаются  методы,  исполь- 
зуемые для  решения  задач  анализа. 

Следует  особенно  подчеркнуть,  что  статистический  син- 
тез как  построение  оптимальной  системы  или  алгоритма 
обработки  связан  прежде  всего  с определением  понятия 
оптимизации.  Это  понятие  включает  как  критерий  каче- 
ства наших  действий,  так  и выдвигаемые  нами  дополни- 
тельные условия,  ограничивающие  класс  допустимых  си- 
стем. Более  или  менее  общий  характер  оптимизации 
зависит  от  вида  и числа  ограничений,  налагаемых  на  допу- 
стимый класс  систем.  Обоснование  выбора  критерия  каче- 
ства и ограничений  на  систему  выходит  за  рамки  излагае- 
мой ниже  теории  синтеза  и базируется  на  человеческом 
опыте,  здравом  смысле  и интуиции  — арсенале  средств, 
принимаемых  на  вооружение  эвристикой. 

Для  решения  задач  синтеза  используются  методы  мате- 
матической статистики  и теории  решений,  идейные  основы 
которых  были  заложены  трудами  А.  Вальда,  А.  Н.  Кол- 
могорова, Дж.  Неймана,  Н.  В.  Смирнова,  Р.  Фишера. 
Одной  из  самых  первых  работ  по  статистическому  синтезу 
применительно  к системам  передачи  информации  была 
защищавшаяся  в 1947  г.  докторская  диссертация  В.  А.  Ко- 
тельникова [2],  предвосхитившая  многие  другие  (в  част- 
ности широко  известные  в настоящее  время  работы 
Ф.  М.  Вудворда  [1]  и Д.  Миддлтона  [4]). 

Излагаемые  в книге  методы  оптимального  статистиче- 
ского синтеза  дают  в руки  разработчиков  систем  более 
универсальный  инструмент,  чем  тот,  которым  они  распо- 
лагали в прежние  времена,  когда  изучение  процессов 
основывалось  на  более  грубых  энергетических  характери- 
стиках (например,  на  вездесущем  отношении  сигнал/ шум), 
которые  не  отражали  особенностей,  увязанных  с выра- 
боткой и принятием  решений. 
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Не  следует,  однако,  забывать,  что  методы  статистичё- 
ского  синтеза  представляют  лишь  следующую  ступень 
познания,  на  которой,  конечно,  не  удается  полностью 
освободиться  от  приближенного  рассмотрения  объективно 
существующих  явлений  и уйти  от  неизбежных  компромис- 
сов, продиктованных  выбором  критериев  качества  и необ- 
ходимостью каким-то  образом  преодолеть  трудности,  свя- 
занные с отсутствием  достаточных  априорных  данных, 
с «математическими  тупиками»,  а также  со  сложностью 
реализации  оптимальных  алгоритмов. 

Различные  критерии,  приспособленные  к располагаемым 
априорным  данным,  приводят,  вообще  говоря,  и к раз- 
личающимся оптимальным  алгоритмам  обработки  резуль- 
татов наблюдения,  хотя  некоторые  алгоритмы  оказываются 
иногда  оптимальными  для  ряда  критериев.  Таковы,  напри- 
мер, линейные  алгоритмы  (согласованные  фильтры),  опти- 
мальные для  обнаружения  и различения  детерминирован- 
ных сигналов  в аддитивных  случайных  помехах,  имеющих 
нормальные  законы  распределения  вероятностей. 

Обзор  содержания.  Эта  наша  вторая  книга  по  теорети- 
ческим основам  статистической  радиотехники,  посвященная 
вопросам  статистического  синтеза,  по  своей  структуре 
аналогична  первой  книге  [3]. 

Первые  две  главы  (первое  звено)  содержат  минимально 
необходимые  сведения  из  ставших  уже  классическими 
теории  решений  (статистики  случайных  событий)  и теории 
оценок  параметров  распределений  случайных  величин 
(статистики  случайных  величин).  Изложение  этих  сведений 
строго  подчинено  последующему  рассмотрению  приклад- 
ных вопросов. 

Две  другие  главы  (второе  звено)  представляют  матема- 
тическую основу  для  решения  очень  многих  задач  стати- 
стического синтеза,  основанного  не  только  на  дискретных 
выборках,  но  и на  непрерывных  реализациях  случайного 
процесса.  Подробно  освещаются  фундаментальные  поло- 
жения статистики  случайных  процессов,  связанные  с орто- 
гональными разложениями  случайных  процессов,  функцио- 
налами ^ отношения  правдоподобия,  проверкой  гипотез 
о случайном  процессе,  оценками  параметров  распределения 
случайного  процесса,  оценками  корреляционных  функций 
и энергетических  спектров.  Рассматриваются  вопросы 
линейной  и нелинейной  фильтрации  случайных  процес- 
сов. 
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Остальная  часть  книги  (третье  звено)  иллюстрирует 
специальные  приложения  теории  статистического  синтеза 
для  оптимального  построения  устройств  обнаружения 
и выделения  сигналов  на  фоне  шума.  Здесь  учитывается  спе- 
цифика радиосигналов  как  узкополосных  процессов.  В седь- 
мую главу  включены  некоторые  из  основных  положений 
современной  теории  классификации  сигналов  при  неполных 
априорных  данных  (распознавания  образов). 

Небольшое  число  задач  дополняет  каждую  главу  неко- 
торыми представляющими  интерес  результатами.  Само- 
стоятельное решение  задач,  возможно,  укрепит  в читателе 
уверенность  в том,  что  ему  под  силу  статистическое 
исследование  в избранной  им  области  прикладных  наук. 

Библиография.  Как  и в первой  книге  (по  указанным  там 
мотивам),  мы  ограничились  в конце  каждой  главы  ссылками 
в основном  на  монографическую  литературу  и на  некоторые 
публикации  последних  лет,  имеющие  непосредственное 
отношение  к изложению.  Исключение  составляет  седьмая 
глава,  в которой  освещаются  вопросы,  обсуждавшиеся 
до  сих  пор  главным  образом  на  страницах  периодических 
изданий.  Поэтому  список  литературы  к этой  главе  более 
обширный,  чем  к остальным. 

Наконец,  следует  обратить  внимание  на  вышедшие  уже 
после  нашей  книги  [3]  монографии  С.  М.  Рытова  [6] 
и В.  И.  Тихонова  [7].  Все  три  книги  близки  по  названиям 
и по  целям,  однако  в отборе  материала  и в выборе  дорог, 
по  которым  каждый  из  трех  авторов  отправился  для  дости- 
жения этих  целей,  несомненно,  отразилась  специфика  их 
научных  интересов,  методологии  и вкусов.  Сжатые  «Очерки 
теории  связи»  Д.  Миддлтона  [5],  крупного  американского 
специалиста  в области  статистической  радиотехники,  могут 
быть  хорошим  дополнением  по  вопросам  синтеза  к книгам 
упомянутых  советских  ученых.  Последнее  замечание  в рав- 
ной мере  относится  и к предлагаемой  книге. 

Наша  аудитория.  Обе  книги  рассчитаны,  прежде  всего, 
на  работающих  в радиотехнической  промышленности  ин- 
женеров-исследователей  и математиков-прикладников.  Воп- 
росы синтеза,  как  и вопросы  анализа,  являются  неотъемле- 
мой частью  аспирантского  курса  статистической  радиотех- 
ники. Настоящая  книга,  возникшая  вместе  с курсом  лекций 
в Московском  электротехническом  институте  связи,  может 
служить  пособием  для  аспирантов,  для  которых  статисти- 
ческая радиотехника  — профилирующий  предмет.  Ею  могут 
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частично  воспользоваться  и студенты  при  изучении  курса 
радиотехнических  цепей  и сигналов  и спецкурсов  теории 
радиосистем. 

Опыт  работы  в промышленности  и высшей  школе  сви- 
детельствует о том,  что  из  года  в год  неуклонно  повышается 
математический  уровень  подготовки  как  молодых  инжене- 
ров, так  и специалистов,  уже  работающих  в научно-иссле- 
довательских организациях.  Поэтому,  хотя  мы  и не  при- 
влекаем дополнительных  разделов  современной  математики 
(таких,  как  интеграл  Лебега,  теория  меры  и др.)  и рассчи- 
тываем на  читателя,  знакомого  только  с вузовскими  курса- 
ми математического  анализа  и основ  радиотехники,  в неко- 
торых доказательствах  и выводах  опущены  промежуточные 
выкладки,  а ряд  утверждений  не  разъясняется  достаточно 
подробно. 

При  желании  читатель  сможет  воспроизвести  эти  под- 
робности самостоятельно,  хотя  они  и не  всегда  необходимы 
для  понимания  существа  излагаемой  теории.  Другое  дело  — 
практическое  использование  теоретических  результатов 
в конкретной  практической  задаче,  когда  конечной  целью 
исследователя  может  быть  определение  блок-схемы  устрой- 
ства с характеристиками  в окончательной  числовой  (или 
графической)  форме.  Здесь  часто  придется  углубляться 
в математические  дебри,  в которых,  однако,  следует  искать 
плоды  от  деревьев  иных  пород:  не  теории  вероятностей 
и статистики,  а главным  образом  линейных  интегральных 
уравнений  и линейной  алгебры.  Мы  не  злоупотребляли  ма- 
тричной формой  записи  при  использовании  многомерных 
распределений,  которая  всегда  экономит  бумагу,  но  не 
всегда  — мозги. 

Во  всех  случаях  нам  пришлось  жертвовать  математиче- 
ской строгостью,  когда  для  ее  соблюдения  пришлось  бы 
расширить  математическую  базу  или  уклониться  от  основ- 
ной линии  изложения.  На  первый  план  поставлена  при- 
кладная грань  математики,  представляющей,  по  меткому 
выражению  А.  Н.  Колмогорова  на  Международном  конгрес- 
се математиков  в Москве,  один  из  механизмов,  при  помощи 
которого  человек  управляет  природой  и самим  собой. 
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ГЛАВА 

ПЕРВАЯ 


ПРОВЕРКА  СТАТИСТИЧЕСКИХ 
ГИПОТЕЗ 


1.1.  ПРОБЛЕМА  ВЫБОРА  РЕШЕНИЯ 

1.1.1.  Исходные  данные  и формулировка  проблемы. 

Рассмотрим  совокупность  возможных  состояний  з0,  . . .,  зт 
(явлений  природы,  причин  появления  событий  и т.  п.), 
которые  представляют  полную  группу  случайных  событий, 

т 

и пусть  р о,  . . .,  рт  (2  Рк  = 1)  — априорное  распределение 

к=0 

вероятностей  этих  состояний.  Рассмотрим  далее  совокуп- 
ность результатов  наблюдений  хи  . . .,  хп  (выборочных  зна- 
чений), зависящих  от  того,  какое  из  упомянутых  состояний 
в действительности  имеет  место,  и пусть  \Ѵп  (х1г  . . .,  хп\зк)  — 
условное  распределение  выборочных  значений,  соот- 
ветствующее состоянию  зк,  к = 0,1,  . . .,  т. 

Имеются',  набор  решений  у0,  . . .,  ут  относительно 
истинности  состояний,  правила  б (уі\хи  . . .,  хп)  вцбора 
решения,  приписывающие  каждому  возможному  результату 
наблюдений  хіг  . . .,  хп  одно  из  решений  і = 0,1,  . . . 

. . .,  т,  а также  функция  потерь  II  ( 5 ук),  учиты- 
вающая последствия  выбора  решения,  и критерий  качества 
/ {11}  выбора  решения,  связанный  с функцией  потерь. 

Проблема,  которая  будет  подробно  рассмотрена  ниже 
и которая  лежит  в основе  многих  задач  техники  и естест- 
вознания, может  быть  в общем  виде  сформулирована 
следующим  образом:  при  заданных  распределениях 
Ри,  I Ѵп  (хіг  . . .,  х„|5й),  наборе  решений  функции 
потерь  11  и критерии  качества  / требуется  определить 
наилучшее  в смысле  принятого  критерия  правило  б исполь- 
зования результатов  наблюдений  хь  . . хп  для  выбора 
решения.  Это  правило  является  разновидностью  стати- 
стического вывода,  получаемого  по  результатам  наблюде- 
ний, о неизвестных  сторонах  изучаемого  явления,  точнее 
говоря,  о принятой  математической  модели  в условиях 

и 


неполной  информации  относительно  характеристик  этой 
модели. 

Прежде  чем  детализировать  введенные  понятия  и поста- 
новку проблемы  выбора  решения,  проиллюстрируем  их 
на  очень  простом  примере. 

1.1.2.  Пример:  передача  сообщений  при  наличии  помех. 

Система  связи  состоит  из  источника,  производящего  два 
сообщения:  «да»  и «нет»,  которые  преобразуются  соответст- 
венно в сигналы  «1»  и «О»,  канала  с помехами,  которые  могут 
преобразовывать  сигнал  «1»  в сигнал  «О»  или  «О»  в «1», 
и приемного  устройства,  воспроизводящего  сигналы  в не- 
искаженном или  искаженном  виде.  Оператор,  наблюдающий 
сигнал  на  выходе  приемного  устройства,  должен  расшифро- 
вать передачу,  т.  е.  определить  по  принятому  сигналу  пере- 
данное сообщение. 

Если  бы  сигналы  всегда  передавались  без  искажений, 
то  можно  было  бы  по  принятому  сигналу  дать  безошибочный 
ответ  на  вопрос,  какое  сообщение  было  послано.  Например, 
по  сигналу  «1»  всегда  узнавалось  бы  сообщение  «да».  Иначе 
говоря,  апостериорная  вероятность  сообщения  «да»  при 
условии,  что  принят  сигнал  «1»,  равнялась  бы  единице. 
Вследствие  искажений  помехами  принятый  сигнал  не  всегда 
будет  достоверно  указывать  на  то,  какое  сообщение  было 
передано,  т.  е.  будут  случаи,  когда  принимается  сигнал  «1» 
при  передаче  сообщения  «нет»,  а сигнал  «О»  — при  передаче 
сообщения  «да».  Возникает  необходимость  дать  оператору 
заранее  правило  поведения  в указанной  неопределенной 
ситуации,  не  полагаясь  на  его  интуицию  и субъективные 
суждения. 

Рассмотренный  простейший  пример  содержит  все  эле- 
менты приведенной  выше  постановки  проблемы.  Сообще- 
ния «нет»  и «да»  представляют  два  взаимонесовместимых 
состояния  передатчика  50  и $4.  Априорные  вероятности  этих 
состояний  ро  = Р {«нет»},  р4  = Р {«да»}  = 1 — р о опреде- 
ляют статистическую  структуру  источника  сообщении, 
т.  е.  указывают,  какой  процент  в длинной  последовательно- 
сти сообщений  составляют  сообщения  «нет»  и какой  про- 
цент — сообщения  «да».  Возможными  результатами  наблю- 
дений являются  сигналы  «1»  и «О».  Условные  вероятности 
этих  сигналов  Р {0  | 50}  = 1 — Р { 1 | 50},  Р {1  I $і}  = 
= 1 — Р {0  | 54}  определяются  вероятностными  свойствами 
помех  в канале.  Величины  Р {0  | $0},  Р { 1 I 5і}  представ- 
ляют вероятности  того,  что  сигналы  «О»  и «1»  не  искажаются 
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помехами,  а Р (1  | 50},  Р {0  | 54}  — вероятности  искажений 
двух  видов:  перехода  «О»  в «1»  и «1»  в «О».  Набор  решений 
в этом  случае  состоит  из  у0  (передано  сообщение  «нет») 
и Ѵі  (передано  сообщение  «да»),  а правило  решения  пред- 
писывает оператору,  какое  из  этих  двух  решений  он  должен 
выбирать,  когда  наблюдает  сигнал  «1»  или  сигнал  «О». 
Функция  потерь  в рассматриваемом  примере  должна  учиты- 
вать последствия  ошибочных  решений  оператора  и назна- 
чать «плату»  Поі  > 0 за  ошибку  первого  рода  (принятие 
решения,  что  было  передано  сообщение  «да»,  когда  в дейст- 
вительности передавалось  «нет»)  и «плату»  П10  > 0 за  ошиб- 
ку второго  рода  (принятие  решения,  что  было  передано 
сообщение  «нет»,  когда  в действительности  передавалось 
«да»).  Можно  было  бы  наряду  с потерями  П0і,  П10  ввести 
величины  выигрышей  П0о,  Пи  (отрицательных  потерь), 
приобретаемых  от  правильных  решений  или  расходов 
на  принятие  правильных  решений  (при  условии,  что  П0о  < 
< Поі  и Пи  < П10).  Однако  иногда  ограничиваются  введе- 
нием только  потерь  из-за  ошибочных  решений,  полагая, 
что  правильным  решениям  соответствуют  нулевые  потери. 

Критерием  качества  выбора  решения  может  служить 
среднее  значение  потерь  из-за  ошибочных  решений,  взве- 
шенное с вероятностями  их  появления.  Таким  образом, 
согласно  этому  критерию  выбирается  из  двух  возможных 
правил  выбора  решения  то,  для  которого  величина  сред- 
него значения  потерь  меньше.  Подсчитаем  величины  сред- 
них потерь  для  двух  правил  выбора  каждого  из  возможных 
решений. 

Одно  правило  б0  может  быть  сформулировано  так: 
наблюдаешь  сигнал  «О»—  принимай  решение  у0  (и,  следова- 
тельно, когда  наблюдаешь  сигнал  «1»—  принимай  реше- 
ние уі).  В этом  случае  вероятности  ошибочных  решений 
равны 

Р {ошибка  1-го  рода}  = Р{у1|50}  = р0Р{1  |50}, 

Р {ошибка  2-го  рода}  =Р  {у0 1 зф  = рѵР  {0  | з(} 
и среднее  значение  Р0  потерь 

Ро  — ПоіРоК  (1  1 50}  + П юРіР  {0  | 5і}  ( 1 • 1 ) 

Другое  правило  б4  формулируется  так:  наблюдаешь 
сигнал  «О»—  принимай  решение  у4  (и,  следовательно,  когда 
наблюдаешь  сигнал  «Ь>—  принимай  решение  у0)-  В этом 
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случае  вероятности  ошибочных  решений  равны 

Р {ошибка  1-го  рода)  = Р {у0 1 50)  = р0Р  {0 1 50} , 

Р {ошибка  2-го  рода)  = Р | 5,}  = ц,Р  { 1 | 54) 
и среднее  значение  Р,  потерь 

Рі  — ПоіРоР  (О  | 50)  + ПюРіР  { 1 [ 5)).  (1-2) 

Принятый  критерий  качества  отдает  предпочтение  пра- 
вилу 60,  если  Р0<Рь  т.  е.  когда 

Ро  < (Ро  + Рі)-  (1-3) 

Так  как  Р0  + Рі  = П01/70  + П10р1,  то  из  (1.1)  и (1.3)  при- 
ходим к следующему  условию,  при  выполнении  которого 
принимается  правило  60: 

^оіРоР  { 1 | $о}  ~Ь  ^юРіР  {0  | 5]}  < (ГГоіРо  -(-  иіоРі).  ( 1 .4) 

Формула  (1.4)  помимо  условных  вероятностей  ошибок, 
определяемых  вероятностными  характеристиками  помех 
в канале,  содержит  априорные  вероятности  сообщений 
и величины  потерь.  Определение  или  назначение  величин  р0, 
П0і,  П10  в конкретных  ситуациях  может  представлять 
значительные  трудности.  Это  обстоятельство  является  сла- 
бым местом  и в общей  постановке  проблемы,  указанной 
в § 1.1.1.  КогДа  нет  никаких  оснований  для  того,  чтобы 
ошибку  первого  рода  считать  более  или  менее  существенной, 
чем  ошибку  второго  рода,  то  полагают  потери  П0і  и П10 
одинаковыми,  и тогда  величины  средних  потерь  просто 
пропорциональны  вероятности  ошибки  любого  рода.  Кри- 
терий наименьших  средних  потерь  в этом  случае  переходит 
в критерий  наименьшей  частоты  ошибок.  Когда  ничего 
«неизвестно»  о статистической  структуре  источника  сооб- 
щений, то  остается  предположить,  что  сообщения  «да» 
и «нет»  передаются  с равными  вероятностями,  т.  е.  р0  = 


Если  П0і  = П10,  /70  = /?і  = , то  условие  (1.4)  стано- 

вится особенно  простым: 

Р{1[50}  + Р{0|51}<1 

ИЛИ 

Р{1  I 5о>  < я {1  |5,}. 
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(1.5) 


Условие  (1.5)  означает,  что  вероятность  искажения  сигна- 
ла «О»  меньше  вероятности  правильного  воспроизведения 
сигнала  «1»  (иначе,  вероятность  появления  ложного  сигна- 
ла «1»  меньше  вероятности  неподавления  истинного  сигна- 
ла «1»).  Средние  потери  в этом  случае  /?0  < 0,5,  в то  время 
как  для  правила  б4  при  условии  (1.5)  средние  потери 
і > 0,5  *). 

1.1.3.  Простые  и сложные  гипотезы.  Теперь  рассмотрим 
несколько  подробнее  основные  понятия,  введенные  в § 1.1.1 
в связи  с общей  постановкой  проблемы  выбора  решения. 
Иногда  эта  проблема  формулируется  в терминах  теории 
проверки  статистических  гипотез.  Выбор  решения  тогда 
состоит  в принятии  или  отклонении  гипотезы  относительно 
возможных  состояний  изучаемого  явления  по  результатам 
наблюдений.  Так,  например,  при  обнаружении  сигнала 
на  фоне  шума  результат  наблюдений  выходного  эффекта 
приемного  устройства  может  относиться  только  к шуму 
(состояние  5о)  или  к смеси  сигнала  и шума  (состояние  5і). 
Выбор  решения  состоит  в принятии  или  отклонении  гипоте- 
зы Н о о том,  что  наблюдавшийся  эффект  относится  только 
к шуму.  Противоположная  гипотеза  Н1  о том,  что  наблю- 
давшийся эффект  относится  к смеси  сигнала  и шума,  являет- 
ся альтернативой. 

Класс  гипотез  называется  простым,  если  он  содержит 
одну-единственную  гипотезу,  и сложным,  если  число  гипо- 
тез не  меньше  двух.  В указанном  выше  примере  проверяемая 
гипотеза  и альтернатива  являются  простыми.  В задаче 
обнаружения  одного  из  совокупности  сигналов  на  фоне 
шума  (состояния  5Ь  . . .,  8т)  класс  альтернатив  является 
сложным.  Сложной  гипотезе  может  соответствовать  не  толь- 
ко конечное  число  состояний,  но  и бесконечное:  счетное 
(дискретное)  множество  или  континуум  состояний.  Воз- 
можные состояния  принято  представлять  точками  много- 
мерного пространства  состояний.  Если  множество  воз- 
можных состояний  образует  континуум,  то  априорное  рас- 
пределение вероятностей  состояний  характеризуется  плот- 


*)  Заметим,  что  возможными  правилами  решения  в рассматри- 
ваемом примере  могли  бы  быть  также:  б3 — - всегда  принимай  реше- 
ние •уо,  или  64  — всегда  принимай  решение  Величины  средних 
потерь  для  этих  решений  равны  соответственно  Р3  — РіИі0, 
К 4 = роП0і-  Если  П10  = П10  = 1 и ро  = рі  = !/2,  то  любое  из  этих 
правил  хуже,  чем  80,  так  как  при  этом  /?3  = #4  = 1/2,  но  лучше, 
чем  6Ь  так  как  К,  > 0,5. 
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ностью  вероятности  щ (з),  определенной  на  этом  мно- 
жестве. 

1.1.4.  Выборка.  Как  отмечалось  в первой  книге,  с каж- 
дым случайным  экспериментом  может  быть  связана  некото- 
рая случайная  величина  |,  возможные  значения  которой 
представляют  результаты  наблюдений,  фиксируемые  после 
проведения  случайного  эксперимента.  Таким  образом, 
результат  последовательности  п случайных  экспериментов 
представляется  « возможными  значениями  хи  . . .,  хп 
случайной  величины  \.  Каждое  из  этих  значений  называет- 
ся выборочным,  а их  совокупность  — выборкой  *).  Число  п 
выборочных  значений,  или  число  элементов  выборки,  при- 
нято называть  размером  (или  объемом)  выборки.  Пусть  рас- 
пределение вероятностей  случайной  величины  ^ характери- 
зуется интегральной  функцией  Рі  (. к ) или  плотностью  (х). 
Тогда  говорят,  что  выборка  хь  . . .,  хп  получена  из  рас- 
пределения Рі  (. х ) или  соответственно  из  іюу  (х).  Закон  рас- 
пределения может  зависеть  от  состояния  ч».  изучаемого 
явления.  Для  того  чтобы  подчеркнуть  зависимость  выбор- 
ки  от  указанного  состояния  зк,  будем  обозначать  функ- 
цию распределения,  из  которого  она  получена,  симво- 
лом Рг  (х  I 5д)  ИЛИ  Х2>1  (х  I 5/і) . 

Каждая  выборка,  т.  е.  совокупность  « чисел,  представля- 
ет точку  в «-мерном  пространстве,  или  «-мерный  вектор  X = 
= (х'і,  . . .,  хп).  Если  рассматривать  (хотя  бы  мысленно) 
все  возможные  последовательности  экспериментов,  то  сово- 
купность всевозможных  выборок  заполняет  некоторую 
область  указанного  «-мерного  пространства.  Эта  область 
называется  пространством  выборок.  Плотность  вероятности 
выборки  из  распределения  оу4  (х  \ з)  с независимыми  эле- 
ментами Хі,  . . .,  хп  равна 

П 

ѴРп(Хі,  ...,  Х„|5)=  []  Ы>і(хк\  5),  (1.6) 

к=1 

так  как  в этом  случае  совместная  плотность  вероятности 
выборочных  значений  равна  произведению  плотностей 
вероятностей  элементов  выборки. 


*)  Во  многих  руководствах  по  математической  статистике  сово- 
купность возможных  значений  случайной  величины  5 принято 
называть  генеральной  совокупностью.  Каждый  случайный  экспе- 
римент представляет  выбор  некоторого  значения  из  генеральной 
совокупности. 
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Для  выборки  из  дискретного  распределения  р,\в  = 
= Р{х  = х}\8},  /=  1,  2,  . . п, 

П 

Р{х  = хи  . ..,  Х = Х„|5}=  []  рк]а.  (1.6') 

к=  і 

Совместное  распределение  выборочных  значений  назы- 
вается функцией  правдоподобия  выборки.  Функция  правдо- 
подобия, заданная  в пространстве  выборок,  указывает, 
как  часто  появляются  точки  из  некоторой  области  простран- 
ства выборок,  и определяет  плотность  вероятности  того, 
что  появляется  какая-то  точка  пространства  выборок. 

Итак,  принимается  точка  зрения  на  выборку  как  на 
совокупность  случайных  величин  или  как  на  многомерную 
случайную  величину  (случайный  вектор),  характеризую- 
щуюся некоторым  распределением  вероятностей  — функ- 
цией правдоподобия  *). 

Обобщая  понятие  выборки,  можно  предположить,  что 
результатами  наблюдений  являются  значения  не  одной 
случайной  величины,  а совокупности  зависимых  случайных 
величин,  связанных  п-мерной  функцией  распределения 
ѴРп  ( Хі , хп  I з),  вид  которой  определяется  состояни- 

ем 5 изучаемого  явления. 

До  сих  пор  предполагалось,  что  в процессе  извлечения 
выборочных  значений  хіг  . . хп  состояние  зк  изучаемого 
явления  не  изменялось.  В примере  с обнаружением  это 
означало,  что  наблюдаемый  эффект  связан  либо  только 
с шумом,  либо  со  смесью  сигнала  и шума.  Однако  могут 
быть  и такие  ситуации,  когда  состояние  изучаемого  явления 
изменяется  один  или  несколько  раз  в процессе  извлечения 
выборочных  значений.  Например,  сигнал  в шумах  появ- 
ляется в пределах  заданного  интервала  наблюдения.  Тогда 
выборка  оказывается  разнородной,  отдельные  ее  части 
принадлежат  разным  распределениям  ѵоі  {х  \ зк),  щ (х  | зу) 
и т.  д. 

Наконец,  обратим  внимание  на  то,  что  в рассмотренной 
выше  постановке  «сырьем»  для  статистических  выводов 


*)  Заметим,  что  в отличие  от  первой  книги,  где  случайные 
величины  и аргументы  соответствующих  им  функций  распреде- 
ления обозначались  разными  символами  (греческими  и латински- 
ми), здесь  элементы  выборки  и аргументы  соответствующей  функ- 
ции правдоподобия  обозначаются  одинаковыми  символами,  что, 
однако,  не  должно  служить  поводом  для  отождествления  этих 
величин. 


•;  7 Ь 5 Ь '«:! 
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служит  выборка  заданного  размера  п.  Иногда  оказывается 
целесообразнее  не  планировать  заранее  объем  экспери- 
ментов, а определять  его  в процессе  наблюдений,  принимая 
решение  о прекращении  или  продолжении  наблюдений 
последовательно  после  каждого  эксперимента,  подвергая 
статистическому  анализу  накопленные  к данному  моменту 
выборочные  значения. 

1.1.5.  Набор  решений  и правило  выбора  решения. 

Набор  решений  у0,  Уі,  У т представляет  собой  ряд 
логических  утверждений  о том,  какая  из  гипотез  относитель- 
но состояний  50,  5Ь  . . зт  изучаемого  явления  истинна. 
Правило  выбора  решения  б устанавливает  соответствие 
между  набором  решений  и возможными  результатами  наблю- 
дений, т.  е.  пространством  выборок*).  Это  означает,  что 
пространство  выборок  0 должно  быть  разделено  на  т + 1 
непересекающихся  областей  О о,  04,  . . .,  0т,  и тогда  пра- 
вило выбора  решения  устанавливает  соответствие  между 
решениями  у*  и областями  С^  (хь  . . .,  хп).  Важно  подчерк- 
нуть, что  правило  выбора  решения  устанавливается  до 
проведения  наблюдения. 

Правило  решения  может  быть  детерминированным 
(или  нерандомизированным).  При  этом  данной  области 
Ск  (х і,  . . .,  хп)  всегда  приписывается  определенное  реше- 
ние у к,  иначе  говоря,  если  наблюдаемая  выборка  попадает 
в область  Ск,  то  принимается  решение  ук,  т.  е.  утверждается 
истинность  гипотезы  о том,  что  изучаемое  явление  находит- 
ся в состоянии  зк.  Правило  решения  может  быть  рандоми- 
зированным. При  этом  для  заданных  выборочных  значе- 
ний хи  . . .,  хп  допускается  выбор  одного  из  нескольких 
решений  в соответствии  с некоторым  распределением  вероят- 
ностей. Это  распределение  Р {уй  I (*і,  • • .,  *„)€ОЛ  пред- 
ставляет условные  вероятности  решений  при  фиксирован- 

т 

ной  выборке  (2  Р {у*  I (хи  ...,*„)  е ОД  = 1,  / = 

к=  О 

= 0,1,  . . .,  т).  Для  детерминированного  правила  реше- 
ния Р{ у к | (хи  • • хп)(іСі}  = 1 лишь  для  одного  зна- 
чения к = /,  и указанная  вероятность  равна  нулю  для 
всех  других  значений  кф  /.  В дальнейшем  в этой  книге 
будут  рассматриваться  только  детерминированные  правила 


*)  В математической  литературе  само  правило  выбора  решения 
часто  называют  критерием.  Мы  используем  термин  «критерий» 
только  в смысле  критерия  качества  правила  выбора  решения. 
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выбора  решений.  Этим  ограничением,  однако,  не  йгнориру* 
ется  роль  рандомизированных  правил,  которые  имеют 
самостоятельное  значение  и дают  иногда  возможность 
упростить  математический  анализ  (см.,  например,  [7]). 

1.1.6.  Функция  потерь  и критерий  качества  выбора 
решения.  Использование  любого  заранее  установленного 
правила  выбора  решения  в силу  случайной  природы  объек- 
та наблюдения  неминуемо  связано  с возможностью  оши- 
бочных решений.  Наблюдаемая  выборка  хи  . . хп  может 
оказаться  в области  Ск,  и будет  принято  решение  ук,  что 
изучаемое  явление  находится  в состоянии  зк,  хотя  в дейст- 
вительности указанная  выборка  связана  с другим  состоя- 
нием 5],  / =т^=  к.  Наличие  в последовательности  решений 
не  только  правильных,  но  и ошибочных  является  неизбеж- 
ной платой  за  попытку  получить  решение  в условиях  непол- 
ной информации. 

Последствия  ошибочных  решений  могут  быть  различны. 
Аналитически  это  обстоятельство  учитывается  путем  вве- 
дения неотрицательной  функции  потерь,  которая  предпи- 
сывает каждому  ошибочному  решению,  т.  е.  каждой  комби- 
нации З]  и ук,  кфі,  плату  \\]к  = П ($_,-,  ук)  > 0.  Наряду 
с этим  могут  быть  введены  также  величины  выигрышей 
(отрицательных  потерь),  приобретаемых  при  правильных 
решениях,  или  расходы,  связанные  с вынесением  правильных 
решений  П„  = П (з,,  у^  < П/д,  к ф /.  Для  заданного 
состояния  средняя  величина  потерь  при  использовании 
определенного  правила  б выбора  решения  (т.  е.  способа 
разбиения  пространства  выборок  на  области  Ок  и установ- 
ления их  соответствия  набору  решений  ук)  в достаточно 
длинной  последовательности  экспериментов  (результаты 
которых  фиксируются  выборками  размера  п)  приближенно 
равна  среднему  в пространстве  выборок  значению  (мате- 
матическому ожиданию)  функции  потерь 

771  т 

° = Д П-'7іР  {Ук  1 = Д П^Р  Хп)еСь\*Л,  (1  .7) 

где  Р {(хи  . . .,  хп)  | — условная  вероятность  по- 

падания выборки  (Хі,  . . .,  хп)  в область  Ск,  если  в дейст- 
вительности имеет  место  состояние  з,.  Условное  среднее  г} 
для  данного  состояния  5 ] называется  условной  функцией 

Можно  было  принять  условную  функцию  риска  за  кри- 
терии качества  правила  выбора  решения  и считать  наилуч- 
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шйм  правилом  то,  которое  минимизирует  по  всем  Возмож- 
ным б величину  г,.  Однако  оптимальное  свойство  правила 
решения  зависело  бы  при  этом  от  заданного  состояния  5;. 
Для  другого  состояния  5а,  кф  /,  правило,  минимизирую- 
щее Гу  возможно,  уже  не  будет  реализовывать  наименьшее 
значение  г к- 

Усредняя  условную  функцию  риска  по  всем  возможным 
СОСТОЯНИЯМ  Зу  получим 
т т т 

к = 2 р,п  = 2 2 р№ъР {(хи  ...,Хп)еОн \ «д,  ( і •«) 

5=0  5=0  к=0 

где  Рі  — априорная  вероятность  состояния  5;. 

Определенное  согласно  (1.8)  среднее  значение  функции 
потерь,  которое  зависит  и от  правила  выбора  решения, 
и от  распределения  вероятностей  состояний,  называется 
средней  функцией  риска.  Эта  функция  может  быть  принята 
за  критерий  качества  правила  выбора  решения.  Тогда  опти- 
мальным (наилучшим  в смысле  принятого  критерия)  прави- 
лом выбора  решения  будет  такое,  для  которого  при  задан- 
ных функции  потерь,  распределении  вероятностей  состоя- 
ний и условных  распределениях  вероятностей  выборок  при 
фиксированных  состояниях  величина  средней  функции 
риска  будет  наименьшей  среди  значений  этой  функции, 
относящихся  к любым  иным  правилам  выбора  решения. 
Оптимальным  правилом  выбора  решения  задается  один 
(из  многообразия  возможных)  способ  разбиения  простран- 
ства выборок  на  непересекающиеся  области  0*,  к — 
= 0,  1,  . . .,  т,  который  обеспечивает  при  длительном  его 
использовании  минимальные  средние  (по  возможным  состоя- 
ниям изучаемого  явления)  потери. 

Оптимальное  правило  выбора  решения,  минимизирую- 
щее среднюю  функцию  риска,  называется  байесовским  реше- 
нием, а соответствующее  ему  минимальное  значение  сред- 
ней функции  риска  — байесовским  риском. 

Излагаемая  теория  обладает  существенным  недостатком. 
Прежде  чем  воспользоваться  ее  результатами,  необходимо 
запастись  достаточно  обширной  априорной  информацией 
не  только  об  условных  функциях  распределения  выборочных 
значений  ѴРп  (хи  . . .,  хп  \ аД,  которые  во  многих  случаях 
можно  обоснованно  задать,  но  и о функции  потерь  ГІ  (зу,  у к) 
и об  априорном  распределении  состояний. 

Если  априорное  распределение  состояний  неизвестно, 
то  для  установления  критерия  качества  выбора  решения 
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Имеется  возможность  использовать  лишь  условную  функ- 
цию риска  г которая  представляет  функцию  целочисленно- 
го аргумента  /,  указывающего  состояние  $,.  Пусть  г*,  — 
максимальное  значение  этой  функции  для  правила  выбора 
решения  бі  и г*2  — ее  максимальное  значение  для  правила 
выбора  решения  б2.  Можно  считать  более  благоприятным 
то  из  этих  двух  правил,  для  которого  максимальное  значе- 
ние условной  функции  риска  меньше.  Например,  если  г|2  < 
< г*,,  то  правило  б2  лучше  правила  б4.  Оптимальным  прави- 
лом будет  такое,  которому  соответствует  минимум  среди 
максимальных  значений  условных  функций  риска,  опре- 
деленных при  любых  других  правилах.  Это  правило  назы- 
вают минимаксным  правилом  выбора  решения. 

Минимаксное  правило  выбора  решения  дает  уверен- 
ность в том,  что  потери  (в  среднем)  не  будут  больше  некото- 
рой величины  г*.  Хотя  во  многих  случаях  использование 
этого  правила  разумно,  могут  быть  ситуации,  в которых 
сно  будет  слишком  осторожным,  и предпочтительным  ока- 
жется иное  правило  решения,  для  которого  максимальное 
значение  условного  риска  будет  больше,  чем  г*.  Так,  напри- 
мер, если  в одном  из  состояний  правило  выбора  решения  б 
приводит  к условному  риску,  несколько  большему,  чем  г*, 
а в остальных  состояниях  — намного  меньшему,  чем  те, 
которые  соответствуют  минимаксному  правилу  б*,  то  целе- 
сообразно отдать  предпочтение  правилу  б.  Указанное  обстоя- 
тельство иллюстрируется  на  рис.  1,  на  котором  изображе- 
ны типичные  случаи,  когда  использование  минимаксного 
правила  обоснованно  (рис.  1,  а)  и когда  минимаксное  прави- 
ло является  чересчур  осторожным  (рис.  1,6). 

Можно  показать  (см.,  например,  [14,  стр.  91]),  что 
любое  минимаксное  правило  выбора  решения  является 
специальным  случаем  байесовского  решения  для  наименее 
благоприятного  априорного  распределения  вероятностей 
(Р;)мм  состояний  5 / = 0,  . . .,  т,  для  которого  мини- 
мальный (байесовский)  средний  риск  имеет  наибольшую 
величину  по  сравнению  с величинами  среднего  риска,  вы- 
численными для  байесовского  решения  при  любом  другом 
распределении  *).  К сожалению,  не  существует  общего 
метода,  при  помощи  которого  можно  было  бы  находить 
наименее  благоприятное  априорное  распределение  (р;-)мм. 


*)  Условия  существования  такого  наименее  благоприятного 
распределения  сформулированы  в работе  [14,  § 3.1,  теорема  3.14]. 
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Однако  доказано  (см.  [ 1 4,  § 3.5]),  что  байесовское  правило 
выбора  решения,  которому  соответствуют  одинаковые  для 
всех  состояний  условные  риски  г}  = г,  / = 0,  1,  . . .,  т, 
является  минимаксным.  Это  обстоятельство  может  быть 
использовано  для  определения  наименее  благоприятного 


Рис.  1.  Использование  минимаксного  правила: 

а — приемлемо;  б — неприемлемо  (правило  бі  лучше,  чем  б*). 

распределения  и,  следовательно,  минимаксного  правила. 
Но  следует  иметь  в виду,  что  равенство  условных  рисков 
при  небайесовских  решениях  не  приводит  к минимаксному 
правилу.  С другой  стороны,  если  равенство  условных  рисков 
неосуществимо,  то  это  еще  не  значит,  что  минимаксного 
правила  не  существует.  Для  его  определения  в этом  случае 
нужно  искать  другие  методы. 

В условиях,  когда  известно  априорное  распределение 
состояний  5;,  но  нет  каких-либо  обоснованных  соображений 
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относительно  величин  потерь  Пд,  может  быть  использован 
несколько  иной  подход  к выработке  правил  выбора  решений. 
Найдем,  используя  формулу  Байеса  (см.  (1.19)  в первой  кни- 
ге), апостериорную  вероятность  состояния  5;,  когда  наблю- 
дается выборка  (хі,  . . .,  хп ): 


Р&ІХ,,  . . .,  хп} 


Р]Ѵп  (*1,  • • • . Хп  I «,■) 

т 

2 Рк№п  (*1,  ■ • • » хп  і 5й) 
А= О 


(1.9) 


Указанные  апостериорные  вероятности  представляют  наи- 
более полную  характеристику  состояния  8^  изучаемого 
явления,  какую  можно  получить,  располагая  только  выбо- 
рочными значениями  случайной  величины,  связанной  с наб- 
людениями. Поэтому  естественно  принять  следующий  кри- 
терий: утверждается  истинной  та  из  гипотез  относительно 
состояний  5^*,  / — 0,1,  . . .,  т,  для  которой  апостериорная 
вероятность  (1.9)  максимальна.  Таким  образом,  критерием 
качества  рассматриваемого  правила  выбора  решения  явля- 
ется максимум  апостериорной  вероятности. 

Из  этого  критерия  следует  правило  разбиения  простран- 
ства выборок.  К области  Си  относят  те  выборки  (х,,  . . .,  хп), 
для  которых  при  всех  / Ф к. 

Р (5а  \ хи  . . . , Хп}  > Р {5;  | Хи  . . . , Хп).  (1  .9') 


Если  нет  никаких  априорных  сведений  и о распределе- 
нии вероятностей  состояний,  и о потерях,  то  можно  вос- 
пользоваться критерием  максимального  правдоподобия,  сог- 
гласно  которому  при  наблюдении  выборки  (хь  . . .,  хп ) 
принимается  та  из  гипотез  относительно  состояний  5^-, 
для  которой  функция  правдоподобия  ѴРп  (хь  . . .,  хп  | 8у) 
больше  других  функций  правдоподобия  ѴРп  (хи  . . .,  хп  | 5 й), 

Ь = 0,1,  . . .,  / — 1 , /4-1 т.  Этот  критерий  является 

частным  случаем  критерия  максимальной  апостериорной 
вероятности  при  условии,  что  все  состояния  равновероятны, 

т.  е.  р}  = — . 
г 1 т 4-1 

Еще  один  критерий  качества  правила  выбора  решения 
связан  со  средним  количеством  информации,  содержащимся 
в используемом  правиле  б относительно  исследуемого  явле- 
ния 5 (характеризуемого  т 4-  1 состояниями  50,  . . .,  8т 
и их  априорными  распределениями  р0,  . . .,  рт).  По  опреде- 

?3 


лению  среднего  количества  информации  ИЗ) 

т.  т 

Р И ук) 
' Р]Р{Чк) 


/(б,  я)= 2 2 р(я и ѵ41г 


І=  0 к=  О 

т 

= Н (5)  - Я (5  | б)  = Я (5)  - 2 Р Ы Н (5  | ук). 


(1.10) 


к=  О 


где 


Н (в)  = — 2 Р]\РР}>® 

3—0 


— энтропия,  характеризующая  априорную  неопределен- 
ность состояний  исследуемого  явления,  и 

т 

Я (5  I Ук)  = — 2 Р{$і  | Ы ІП  Р | У,,}  > 0 

3=0 

— условная  энтропия  явления  5 после  того,  как  принято 
решение  ук,  причем 

Р ІЯ  I 7 к)  = р~}  § • • ■ § ЧРп  (х„  хп  | 5;)  с/л:, . . Ахп, 

сй 

771 

Р {?л}  = 2 Рі  § • • • § (*і > ■ • • - 1 Я')  йХ)  ■ ■ ■ ЛХп, 

3=0  ск 

771 

Я(5|6)=  2 Р{ук}Н(8\Ук),  0<Я(5|б)<Я(5). 

й=0 

В качестве  наилучшего  правила  б может  быть  принято 
такое,  которое  доставляет  максимум  информации  / (б,  §), 
т.  е.  минимизирует  среднее  значение  Я (з|  б)  условной  энтро- 
пии (или,  как  принято  говорить  в теории  информации, 
ненадежности).  Иначе  говоря,  правило  выбора  решения, 
удовлетворяющее  условию  шах  / (б,  5),  гарантирует  наи- 

6 

меньшие  в среднем  потери  информации,  связанные  с про- 
цессом принятия  решения  на  основе  выборочных  зна- 
чений *). 


*)  Более  полный  информационный  критерий  качества  связан 
с максимизацией  ценности  информации  при  условии,  что  коли- 
чество полученной  информации  не  превосходит  заданной  вели- 
чины [2]. 
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1.2.  ПРОВЕРКА  ПРОСТОЙ  ГИПОТЕЗЫ 
ПРОТИВ  ПРОСТОЙ  АЛЬТЕРНАТИВЫ 

1.2.1.  Вероятности  правильных  и ошибочных  решений. 

Переходим  к простейшей  задаче  излагаемой  в этой  главе 
теории  — проверке  простых  гипотез.  Ситуация  в этом  слу- 
чае такова.  Имеется  некоторое  число  наблюденных  зна- 
чений хи  . . .,  хп  (выборка  размера  п)  и известно,  что  эти 
значения  принадлежат  одному  из  двух  распределений: 
ѴРп  (хі,  . . хп  | 5 о)  или  ѴРп  (хі,  . . .,  хп  | 5^,  связанных 
с взаимоисключающими  состояниями  «о  и изучаемого 
явления.  Задача  состоит  в том,  чтобы  указать  наилучший 
(в  каком-нибудь  смысле)  алгоритм  обработки  наблюдаемых 
данных  с целью  решить,  какому  из  указанных  распределе- 
ний принадлежит  полученная  выборка. 

Обозначим  через  Я0  и Н{  — гипотезы  о том,  что 
выборочные  значения  принадлежат  распределениям 
№п  (хи  . . .,  хп  | 50)  и \Ѵп  (хи  | 54)  соответственно, 

а через  у0  и — решения,  состоящие  в принятии  или 
отклонении  гипотезы  Я0.  Гипотеза  Я4  является  простой 
альтернативой  Я0,  и поэтому  может  рассматриваться  только 
одна  гипотеза  Я0.  Ясно,  что  отклонение  гипотезы  Я0  означа- 
ет принятие  гипотезы  Нх.  Для  рассматриваемых  здесь 
нерандомизированных  процедур  проверки  гипотезы 
(см.  § 1.1.5)  задача  состоит  в установлении  до  наблюдений 
правила,  согласно  которому  каждой  выборке  хи  . . .,  хп 
приписывалось  бы  одно  из  решений  у0  или  у4,  иначе  говоря, 
в установлении  правила,  по  которому  можно  было  бы  при- 
нять или  отвергнуть  гипотезу  Н0  на  основании  данных, 
накопленных  в процессе  наблюдения  изучаемого  явления. 
Установление  указанного  правила  эквивалентно  разделению 
«-мерного  пространства  выборок  (хи  . . .,  хп)  на  две  непе- 
ресекающиеся  области  С0  и О,.  Если  данная  конкретная 
выборка  попадает  в область  С0,  то  гипотеза  Н0  принимается, 
а если  она  попадает  в область  0І}  то  она  отвергается  (т.  е. 
принимается  гипотеза  Я,).  Таким  образом, 

(Хі,  . . . , Хп)  Г Од  —>  у0, 

(лу,  . . . , хп)  Е О і > уі, 

где  символ  включения  ^ означает  принадлежность  точки 
данной  области  пространства. 

Область  О0  принятия  гипотезы  называют  допустимой, 
а область  (Д  отклонения  гипотезы  — критической.  Уравне- 
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ййе  поверхности  І)  (хІ7  . . .,  хп)  = сопзі  в л-мерном  про- 
странстве, разделяющей  указанные  области,  является  ана- 
литическим выражением  правила  выбора  решений. 

При  использовании  любого  заранее  установленного 
правила  выбора  решений  наряду  с правильными  решениями 
неизбежны  (в  силу  случайной  природы  выборки)  и ошибоч- 
ные. Возможны  ошибки  двух  родов.  Ошибка  первого  рода 
возникает,  когда  выборка  попадает  в критическую  область  0І: 
когда  изучаемое  явление  находится  в состоянии  50.  Тем  са- 
мым будет  отвергнута  гипотеза  #0,  хотя  в действительности 
она  верна.  Ошибка  второго  рода  возникает,  когда  выборка 
попадает  в допустимую  область  О0,  хотя  изучаемое  явление 
находится  в состоянии  54.  В результате  будет  принята  лож- 
ная гипотеза.  Аналогично  могут  рассматриваться  и два  вида 
правильных  решений;  принятие  верной  гипотезы  (выборка 
попадает  в область  О0,  когда  имеет  место  состояние  х0) 
и отклонение  ложной  гипотезы  (выборка  попадает  в об- 
ласть Оі,  когда  имеет  место  состояние  5]). 

Нетрудно  написать  выражения  для  условных  вероятно- 
стей ошибок  для  заданного  состояния  изучаемого  явления. 
Условная  вероятность  а ошибки  первого  рода  равна 


0.  — Р {у4 1 Н0)  = Р {(хи  . . . , хп)  6 Сі  | 50}  = 
= § • • • § (лу.  . . . , хп  | 50)  (1х{ . . Ахп. 


(1.11) 


Сі 


Условная  вероятность  правильного  решения,  состоящего 
в принятии  верной  гипотезы  Н0.  дополняет  указанную 
вероятность  до  единицы,  т.  е. 


Р{у0\Н0}  = Р{(хи  ...,  хп)  С0 1 50}  — 
^ . . • , Хп  | 50)  (ІХі  ...СІХп 


Со 


1 — ^ ^ ѴРп  (лу,  . . . , хп  1 5о)  гіду . . . йхп  = 1 — а.  ( 1 . 1 Г) 

Сі 


Условная  вероятность  р ошибки  второго  рода  равна 


р=р{7о|я1}  = я{(А-1;  ...,  хп)ео0\5і}  = 

= (Хи  • • ■ , хп\  5,)  йХі  ..Лхп.  (1.12) 

Со 
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Условная  вероятность  правильного  решения,  состоящего 
в отклонении  ложной  гипотезы,  дополняет  |3  до  единицы, 
так  как 

Р{уі\Н1}  = Р{(х1,  ...,  х„)бС1|5і}  = 

^ ^ ^ п ( -Г  і , ■ ■ • , Хп  | 5 1 ) (І.Х  і . . . (ІХп 

С-1 

= 1 ~ § ■ • • § №п{хи  ....  Хп\ з^сІХі.  . . (ІХП  = 1 — 13.  (1.12') 

Со 


Вероятность  а ошибки  первого  рода  (т.  е.  вероятность 
отвергнуть  правильную  гипотезу  Н0)  называют  иногда 
уровнем  значимости,  а вероятность  1 — р отвергнуть  лож- 
ную гипотезу  — мощностью  правила  выбора  решений  *). 

Если  известно,  что  априорные  вероятности  состояний  х0 
и 5!  равны  <7  и р = 1 — ^ соответственно,  то,  используя 
формулы  (1.11)  — (1.12'),  можно  найти  априорные  вероят- 
ности принятия  решений  у0  и 

р Ы = рР  {у0  \ Н0}  + рР  {Уо  \ Ні}  = Ч (\  -а)  + рр,  (1.13) 

рШ  = рР{Ѵі\Ні}  + уР{у1\Н0}  = р(1  — Р)  + <7а,  (1.14) 


которые  определяют  частоты  появления  отдельных  решений 
в длинной  последовательности  принятия  решений.  В фор- 
мулах (1.13)  и (1.14)  первые  слагаемые  равны  априорным 
вероятностям  правильных  решений,  а вторые  — априорным 
вероятностям  ошибок. 

Для  заданного  размера  выборки  невозможно  одновремен- 
но сделать  сколь  угодно  малыми  вероятности  ошибок  и пер- 
вого, и второго  рода.  Например,  чтобы  уменьшить  уровень 
значимости,  нужно  уменьшить  критическую  область  01. 


*)  Иногда  в пространстве  выборок  вводят  решающую  функ- 
цию Ф(Л4,  которая  для  нерандомизированного  правила  выбора 
решения  равна 


Ф 


хео  о, 


т.  е.  является  своеобразным  счетчиком  попадания  выборки 
Х=  (хи  . . . , хп)  в критическую  область.  Формулы  (1.11)  и (1.12') 
могут  быть  при  помощи  решающей  функции  ф (X)  записаны  в виде 
условных  средних 

а = ті{ф(Х)\Н0},  1 — р = ті  {Ф  (Л3|#і}. 

Для  рандомизированного  правила  Ф ( X)  представляет  некоторую 
интегральную  функцию  распределения- 
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При  этом,  конечно,  увеличится  допустимая  область  и пони- 
зится чувствительность  правила  решения  в отношении  оши- 
бок второго  рода.  Поэтому  для  того,  чтобы  сформулировать 
то  или  иное  правило  выбора  решений,  необходимо  выра- 
ботать какие-то  разумные  подходы.  Путь  к таким  подходам 
указывают  критерии  качества,  некоторые  из  них  были 
представлены  в общем  виде  в § 1.1.6.  Рассмотрим  теперь 
эти  критерии  применительно  к задаче  проверки  простых 
гипотез. 

1.2.2.  Байесовское  решение.  Введем,  прежде  всего,  функ- 
цию потерь,  которая  предписывает  каждой  из  четырех 
комбинаций  у0  и Я0,  уо  и Яь  у4  и Я0,  уі  и Я4  соответствую- 
щую плату  Л,*,  / = 0,1,  Я = 0,1.  Последние  величины 
удобно  представить  в виде  платежной  матрицы 

П=(п"о°  П°І)  ’ Ноі > По°.  П10>Пи,  (1.15) 

в которой  строки  соответствуют  гипотезам  Я0  и Я1;  а столб- 
цы — решениям  у0  и у4.  По  главной  диагонали  расположены 
платы  за  правильные  решения  *),  а по  побочной  — платы 
(потери)  за  ошибочные  решения.  Среднее  значение  потерь, 
взвешенное  с вероятностями  их  появления,  или  средний 
риск ) равно 

/?  = <?г0  + ргі,  (1-16) 

где 

г0  = П00Р  {уо  | Яо}  + Г101Р  {уі  | Н0}--  П00  ( 1 - а)  + П01а, 

(1.17) 

л,  = Г110Р  {уо  I Я)}  + ПИР  {уі  | Я і}  = П10Р  + П„  (1  — Р) 

(1.17') 

— условные  риски,  соответствующие  состояниям  з0  и 54. 

Подставляя  (1.17)  и (1-17')  в (1.16),  после  простых 
преобразований  получим 

Р = ^Про  Я рП іо  ~\~  Р (Поі  Поо)  ® Р (II іо  11ц)  ( 1 Р)- 

(1.18) 

Примем  в качестве  критерия  для  определения  правила 
выбора  решений  достижение  минимальной  величины  сред- 
него риска  Р.  В рассматриваемом  случае  средний  риск  Р 


*)  Если  П00  < 0,  Пи  С 0,  то  эти  величины  можно  трактовать 
как  выигрыши  при  принятии  правильных  решений. 

28 


зависит  от  критической  области  04  через  величины  а и 1 — р . 
Подставляя  выражения  этих  величин  из  (1.11)  и (1.12') 
в (1.18),  находим 

К — <?Поо  + РП10  — ^ ^ № (Пы  — Пн)  1 (х4,  . . . , хп  1 54)  — 

Сі 

— 9(П0і  — П00)  ѴРп  (х4,  1 50)]  гі*! . . .Лхп.  (1.19) 

Так  как  дП00  + рП40  — постоянная  величина,  то  мини- 
мальное значение  среднего  риска  Я будет  получено  в том 
случае,  когда  подынтегральная  функция  в (1.19)  будет 
неотрицательной  *),  т.  е.  когда  в критическую  область  04 
пространства  выборок  (где  отвергается  гипотеза  Н0)  вклю- 
чаются только  те  точки,  для  которых 

Р (П40  п41)  ѴРп  (Хі,  . . . , хп  1 54)  ^ 

^ Я (По4  — П0о)  №п  (х4,  . . . , хп  1 50) 


или 


Р^п  (х4>  ■ ■ Ч хп  | 54)  П04  — Про 

С\\Ѵ п (х4,  . . . , Хп  | $о)  Х П40  — П44 


(1.20) 


Таким  образом,  оптимальное  правило,  основанное  на  кри- 
терии минимального  среднего  риска,  или  байесовское  реше- 
ние, может  быть  сформулировано  следующим  образом: 
принимается  решение  у4  (отвергается  гипотеза  Н0),  если 
для  наблюдаемой  выборки  выполняется  неравенство  (1.20), 
и принимается  решение  у0  (утверждается  справедливость 
гипотезы  Н0),  если  выполняется  неравенство,  противополож- 
ное (1.20). 

Уравнение  поверхности,  разделяющей  в этом  случае 
критическую  и допустимую  области  пространства  выборок, 
имеет  вид 


О (х4,  . . . , хп) 


р\Ѵп  (*1, 

Ч'Х'п  (■*!, 


хп  I $і)  __  П04  — Про 

хп  1 5о)  Піо — П44 


(1.21) 


*)  Заметим,  что  так  как  для  любого  подмножества  С[  множества 
04  (04  С 04)  справедливо  неравенство 

§ ■ • ■ ^ / (хь  хп)  йху...сіхп  < ^ . . . ^ / (дг4,  . . .,  хп)  Лхі. . .йхп 
О’  Щ ' 

при  / (х4,  ...,хп)^0,  то  интеграл  в (1.19)  достигает  максимума 
тогда  и только  тогда,  когда  в область  интегрирования  04  включаются 
все  точки  пространства  выборок,  для  которых  подынтегральная 
функция  неотрицательна. 
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называют 


Левую  часть  этого  уравнения 


р'Х'п  (*!,  • ■ ■ , хп  | 5}) 

Ц\(/П  Хп  | «о) 


обобщенным  отношением  правдоподобия *  *).  Процедура 
проверки  простой  гипотезы  Н0  сводится  к вычислению 
обобщенного  отношения  правдоподобия  и сравнению  его 
с постоянным  порогом  с*,  который  для  байесовского  пра- 
вила равен  **) 


„*  П01  — Поо 

П10 — П)і 


(1.22) 


Если  обозначить  через  О * критическую  область,  опреде- 
ляемую неравенством  (1.20),  а через  а*  и 1 — р*  — уровень 
значимости  и мощность,  соответствующие  О*,  то  минималь- 
ная величина  среднего  риска  Л!*,  или  байесовский  риск, 
может  быть  представлена  согласно  (1.18)  в следующем  виде: 

Н*  = <7ІІоо  “Ь  рМіо  + Я (П0І  — Поо) а*  Р (Пю  Пи)  ( 1 р*). 

(1.23) 


При  определении  условных  вероятностей  ошибок  а* 
и р*  можно  обойти  трудности,  связанные  с вычислением 
кратных  интегралов  (1.11)  и (1.12),  и свести  вычисления 
к однократному  интегрированию.  Функция 


і(Хі, 


хп)  - 


1 Ѵп  (*1, 


1 Ѵп  (*і 


Ні) 

«о) 


(1.2-1) 


т.  е.  отношение  правдоподобия,  представляет  неотрицатель- 
ную случайную  величину,  получающуюся  функциональ- 
ным преобразованием***)  п случайных  величин  хіг  . . .,  хп. 
Обозначим  через  \ѴІ0  (у)  функцию  распределения  отноше- 
ния правдоподобия  при  условии,  что  выборка  принадлежит 
распределению  II7,,  (хи  . . .,  хп  \ з0),  и через  №ц  (у)  — 


„ , . , 1 Ѵп  (Хи  . . . , Хп  I 5() 

*)  В отличие  от  величины  I ( а 4,  . . . , хп)  = Т^г- — , — г , 

И/  п [Хі , . . . , Хп  | 

которую  называют  просто  отношением  правдоподобия.  (Некоторые 
авторы  предпочитают  термин  «коэффициент  правдоподобия».) 

**)  Хотя  при  выводе  указанного  оптимального  правила  предпола- 
галось заранее,  что  рассматриваются  только  детерминированные 
правила,  полученный  результат  остается  справедливым  и в том 
случае,  когда  минимизируется  средний  риск  в более  широком 
классе,  включающем  и рандомизированные  правила  (см.,  напри- 
мер, [9,  § 19.1.2]  или  [10,  § 2.3]). 

***)  функциональное  преобразование  2=1  (ад,  . . .,  хп)  ото- 
бражает точки  «-мерного  пространства  выборок  на  действительнук} 
ось  (одномерную  область), 

30 


функцию  распределения  отношения  правдоподобия  при 
условии,  что  выборка  принадлежит  распределению 
п (Л'і . • ■ Хп  | 5і).  Тогда  из  (1.11)  и (1.12)  и определения 
критической  области  О*  [см.  (1.20)  и (1.22)1  следует: 

а*  = Р{(Хи  . лсЛ)  е О?  | во}  = 


оо 

Р{ЧХЬ  •••,  хп)  > рс*  | 50}  = ^ №і0(у)(іу: 

цс* 


1 


Р*  = Р{(х і,  ...,  .гп)6С;[5і}  = 

= Р{/(.Ѵ1,  ...,  Хп)<рс*|51}  = /=’11(рс*), 


Ло  (іІС*), 

(1.25) 

(1.26) 


где  Ріо,  Рц  интегральные  функции  распределения  отно- 
шения правдоподобия  при  гипотезах  Я0  и Ні  соответственно 

и ц = — . 
р 

1.2.3.  Максимум  апостериорной  вероятности  и макси- 
мальное правдоподобие.  Определим  апостериорные  вероят- 
ности того,  что  изучаемое  явление  находится  в состоянии  5П 
мЛИп  “стоянии  «і,  когда  наблюдается  выборка  хи  . х 
Из  (1.9)  в рассматриваемом  случае  находим 

Р {50  | Хи  . . . , Хп)  = ^т— • • • ’*п  1 «о) 


Р{* і\х„  • • *„}  = 


<?Ч  П Он  • • • , хп  | 50)  -РрІІ/л  (д^,  . . . , хп  | 5р  ’ 

(1.27) 

РУп  (*1.  • ■ ■ , Хп  | 5<) 


ЯѴпіХі,  ...,  |*о)  + рГ„(*1,  ...,  *„|в1)  ’ 

(1.28) 

Остановим  следующее  правило  выбора  решения:  после 
того  как  получена  выборка  *„  . . .,  принимается  гипо! 

геза  Я о,  если  Я {5о  \ Хі хп)  > Р {Зі  |т, и 

(решение  То),  и отвергается  эта  'гипотеза,  если 

пользуя  ‘п'гѴІ’  и"п^ж  51  1 *ь  ' ' •’  (решение  у,)-  Ис- 
пользуя (1.2/)  и (1.28),  можно  это  правило  представить 

виде,  принимается  решение  у±  (отвергается  гипотеза  Я„) 

если  для  наблюдаемой  выборки  выполняется  неравенство 


Р^П  (-4.  ■ ■ ■ , Хп  I 


>1, 


(1.29) 


рИ'д  (Т| , . . . , Хп  | 5д) 

и принимается  решение  у0  (справедлива  гипотеза  Я0), 
ели  выполняется  неравенство,  противоположное  (1.29)! 
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Таким  образом,  максимуму  апостериорной  вероятности 
соответствует  такая  критическая  область  пространства 
выборок,  точки  которой  удовлетворяют  неравенству  (1.29). 
Процедура  проверки  простой  гипотезы  Я0  сводится  в этом 
случае  к вычислению  обобщенного  отношения  правдопо- 
добия и сравнению  его  с единицей.  Нетрудно  заметить, 
сравнивая  (1.29)  с (1.20),  что  рассматриваемое  правило 
выбора  решения  является  просто  частным  случаем  байе- 
совского решения,  когда  порог  с*  = 1 [см.  (1.22)].  Это  соот- 
ветствует равенству  плат  за  решения  у0  и ^ либо  равенству 
плат  за  ошибки  П10  = П0І  = П,  если  принимается,  что 
П00  = Пи  = 0.  В последнем’случае  средний  риск  оказы- 
вается равным  [см.  (1.18)] 

/?  = (<7а  + рр)П,  (1.30) 

т.  е.  отличается  только  константой  П от  априорной  вероят- 
ности ошибок  любого  рода.  Следовательно,  правило  выбора 
решения  по  критерию  максимальной  апостериорной  вероят- 
ности минимизирует  априорную  вероятность  ошибок.  Ина- 
че говоря,  это  правило  на  протяжении  длинной  последова- 
тельности принятия  решений  обеспечивает  максимальную 
частоту  правильных  решений. 

Если  при  выработке  правила  выбора  решений  нет  ника- 
ких данных  относительно  априорных  вероятностей  состоя- 
ний 50  и 5і,  то  вместо  рассмотренного  критерия  можно 
применить  критерий  максимума  правдоподобия,  согласно 
которому  при  наблюдении  выборки  хи  . . .,  хп  принимает- 
ся та  из  гипотез,  которой  соответствует  большее  значение 
функции  правдоподобия  выборки.  Таким  образом,  прини- 
мается гипотеза  Я0,  если 

І^п  (*1,  • • ■ ) хп  I 5о)  1 (Хі,  . • • , Хп  | 5() 


(решение  у0),  и отвергается  эта  гипотеза,  если 

ІЕті  (Х\,  . . . , Хп  | 5о)  ^ {Хі,  . . . , Хп  | 5і) 


(решение  у4).  Иначе  говоря,  принимается  решение  уг,  если 
для  наблюдаемой  выборки 


/ (Хі,  . . . , 


„ ч 1 Ѵп  (*1. 

Хп)  ~ Г„  (лц, 


Хп  | 8і)  ^ | 

Хп  I «о)  * 


(1.31) 


и принимается  решение  у0,  если  выполняется  неравенство, 
противоположное  (1.31).  Процедура  проверки  простой  гипо- 
тезы по  критерию  максимального  правдоподобия  сводится 
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к вычислению  отношения  правдоподобия  и сравнению  его 
с единицей.  Отличие  от  правила,  соответствующего  макси- 
муму апостериорной  вероятности,  состоит  лишь  в замене 
обобщенного  отношения  правдоподобия 

Р\Ѵп  Рі,  ■ • ■ , Хп  | 5і) 

<?№  Д (ЛД,  . . . , Хп  | $о) 

отношением  правдоподобия 


\\'п  (*і,  ■ ■ ■,  хп  | 5,) 

'Х'п  (ХІ1  ■ ■ ч Хп  | •?()) 


Следовательно,  правило  выбора  решения  по  критерию 
максимального  правдоподобия  является  частным  случаем 
правила  по  критерию  максимума  апостериорной  вероятно- 
сти, когда  два  возможных  состояния  изучаемого  явления  х0 

и 54  равновероятны,  т.  е.  когда  р = <7  = -1 . 

1.2.4.  Критерий  Неймана  — Пирсона.  Другой  подход 
к выработке  правила  выбора  решений  при  отсутствии 
априорной  информации  о потерях  и вероятностях  состояний 
указывает  критерий  Неймана  — Пирсона.  Согласно  этому 
критерию  выбирается  такое  правило,  которое  обеспечивает 
минимально  возможную  величину  р вероятности  ошибок 
второго  рода  при  условии,  что  вероятность  ошибки  перво- 
го рода  не  больше  заданной  величины  а.  Иначе  говоря, 
правило  выбора  решения  по  критерию  Неймана  — Пирсона 
имеет  наибольшую  мощность  среди  всех  других  правил, 
для  которых  уровень  значимости  не  превосходит  а. 

Покажем,  что  указанному  правилу  соответствует  кри- 
тическая область  О,  пространства  выборок,  включающая 
только  те  точки,  для  которых 


і (хи  . . . , хп ) 


№п  (Хі,  ■ . ■ , Хп  | 5р 

Ѵп  (*1 хп\з0)>с 


причем  порог  с выбирается  из  условия 


(1.32) 


Р {I  (хи  хп)  > с 1 5„}  = ^ \ѴІ0  (у)  Сіу  = а.  (1 .33) 

С 

Пусть  Т произвольная  область  пространства  выборок, 
удовлетворяющая  единственному  условию 

Р{(Хі,  ■ ■ хп)еТ  |50}<а.  (1.34) 

Обозначим  через  ІІ  пересечение  областей  С4  и Т,  через  А — 
ту  часть  области  01г  которая  не  пересекается  с Т,  и че- 


рез  В — ту  часть  области  Т,  которая  не  пересекается 
с О і (рис.  2)  *).  Так  как  точки  области  А удовлетворяют 
неравенству  (1.32),  то 

^ ^ (*!,  . . . , хп\з1)йх1. . . йхп  > 

А 

с ^ ^ \Ѵп  ( Хі , . . . , Хп  | 5(і)  СІХ 1 . . . (Іхп. 

л 


Рис.  2.  Области  пространства  выборок. 


Поэтому 


^ . . • § (Хі,  . . . , Хп\  5і)  сІХі . . . йхп  = 

Оі 

= ^ ^ 1 п ( 'Т 1 , ) Хп  | 5і)  СІХ і . . . бІЛ'л  -)- 

'А 

^ ^ 1 (Аі і • ■ • 1 Хп  | 5^)  СІХ і . . . СІХп  ^ 

V 

> с ^ . . . § ѴГп  (хи  . . . , Хп  1 5„)  йХі, . . . йхп  + 

А 

-(-  ^ ^ 1Т ’п  ( А 1 1 . . * , Хп  | 5і)  ОХ,  ■ ■ ■ СІХп  — 

V 

= С ^ ^ \Ѵп  (Хі,  . . . , Хп  | 5„)  СІХі . . . СІХп  — 

Сі 

— С § . . . § (*1,  • • • , *„  | 50)  йхл  . . . СІХп  + 

V 

+ ^ . . . ^ (а4,  ....  | 5,)  СІА'!  . . . 


(1.35) 


*)  Не  исключаются  случаи,  когда  А = 0 1,  В = Т,  (7=0. 


З'І 


И так  как  в силу  (1.33)  и (1.34) 

а = I " ' I 'Х'п  ^Хи  • • • > хп  1 50)  сіхі . . . йхп ; 

Сі 

> ^ ■ • • § (Хі,  ....  Хп  | 50)  (ІХі . . . СІХ„, 
т 


то  из  (1.35)  следует: 

^ ^ (Хі,  . . . , Хп  | 5^  (ІХХ  . . ,(ІХп 


> 


Сі 


> С ^ ^ {хи  . . . , Хп  | 50)  СІХХ.  . . сіхп  - 

т 

С О ' " ^ ^ п • • ■ > Хп\  5ц)  СІХ  і . . . <ІХп  -)- 

V 

+ §•■•§  №п  ( Хі , . . . , Хп\8х)  СІХі  . . . СІХп  = 
(7 

^ ^ ^ ■ ■ ■ і хп  [ 5д)  СІХі . . . сіхп  ~\- 

в 

+ ^ ^ (*і,  . . . , Хп  | 54)  (ІХі . . . йхп. 

V 

Область  В не  содержит  точек  области  0и  ѵ 
в соответствии  с (1.32)  в этой  области 

сѴі  п (Хі,  . . . , Хп  | 5р)  > №п  (а-!,  . . . , Хп  | 5і). 

Следовательно, 


§ • • • ^ №п  (хи  . . . , хп  | 8і)йХі . . . СІХп  > 
Сі 

^ ^ ^ (ЛЬ  • • ■ , Ап  ( 5і)  СІХ і . . . (ІХп  - 1 - 

в 

+ § • ••  § ѴРп  (хи  . . . , хп  | 5і)  йхі . . . йхп  = 

V 

^ ^ О"  1 ’ • • ■ і Хц  ] 5д)  СІХі . . . СІХп, 

т 


поэтому 


(1.36) 
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т.  е.  мощность  правила  по  критерию  Неймана  — Пирсона 
[см.  (1.26)],  равная 

§ . • • § • • •.  Хп\Зі)СІХі.  . . (іхп  — 1 — Р=  1 — Рц(с), 

Сі 

(1.37) 

больше  мощности  любого  другого  правила,  удовлетворя- 
ющего условию  (1.34). 

Из  сравнения  (1.32)  с (1.20)  можно  заключить,  что  прави- 
ло выбора  решений,  базирующееся  на  критерии  Нейма- 
на — Пирсона,  является  частным  случаем  байесовского 
решения,  в котором  величина  ,ис*  заменяется  на  с,  опреде- 
ляемую согласно  (1.33). 

Итак,  все  рассмотренные  выше  критерии  качества  при- 
водят к единообразной  процедуре  принятия  решения: 
по  наблюденной  выборке  лу,  . . .,  хп  вычисляется  отноше- 
ние правдоподобия  I (*і,  . . .,  хп)  и принимается  или  отвер- 
гается гипотеза  Н0  в зависимости  от  того,  находится  ли  эта 
величина  ниже  или  выше  некоторого  фиксированного  поро- 
га, устанавливаемого  заранее  в соответствии  с принятым 
критерием. 

1.2.5.  Способ  вычисления  условных  вероятностей  ошибок. 

Если  Ф (у)  — монотонная  функция,  то  сравнение 
/ (лц,  . . .,  хп)  с порогом  с эквивалентно  сравнению 
Ф [/  (хь  . . .,  хп )]  с порогом  Ф (с).  Оптимальность  процеду- 
ры проверки  гипотезы  не  нарушается.  Условные  вероят- 
ности ошибок  вычисляются  по  формулам  вида  (1.25),  (1.26), 
в которых  распределения  отношений  правдоподобия  заме- 
няются распределениями  Ф (/),  а в пределы  интегриро- 
вания вместо  порога  с подставляется  величина  Ф (с). 

Когда  выборка  состоит  из  независимых  элементов,  функ- 
ция правдоподобия  выборки  представляется  произведением 
их  одномерных  функций  распределения  [см.  (1.6)].  Такой 
вид  функции  правдоподобия  подсказывает  выбор  функ- 
ции Ф в виде  логарифма  отношения  правдоподобия.  При 
этом  оказывается  возможным  представить  логарифм  мно- 
гомерного отношения  правдоподобия  в виде  суммы  лога- 
рифмов одномерных  отношений  правдоподобия: 

П П 

ІП /(*, х„)-2  1п /(*,)  = 2 ІС  ((%-|^-  (1.38) 

і=1  і=1 
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и свести  определение  функции  распределения  1п  1(хи  . . .,  хп) 
к определению  функции  распределения  суммы  независимых 
одинаково  распределенных  случайных  величин  1п  I (хг). 
Обозначим  через  Ѳ,  (о  | 50),  Ѳ4  (ѵ  | 54)  — условные  характе- 
ристические функции  случайной  величины  1п  / (х)  при 
гипотезах  Н0  и Ні  соответственно.  Тогда  в соответствии 
с известным  в теории  вероятностей  соотношением  [см.  (3.115) 
в первой  книге] 

оо 

ѲіМ*о)=  $ ^(х|зо)ехр[/ц1п^Л^-]^  (1.39) 

— сю 

Ѳі(у|5і)=  Ц щ (х  I 5Д)  ехр  [іѵ  1п^‘  | ^ ] сіх,  (1.40) 

— оо 

а плотности  вероятностей  случайной  величины 
1п  / (хи  . . . , хп)  равны 

оо 

\Ѵі(г\в0)  = ± ^ [Ѳ4  (у  [ 50)]л  е~,1,;  сіѵ,  (1.41) 


\Ѵі  (г  | 54)  = ~ ^ [Ѳ1(о|51)]пІе-'“Л.  (1.42) 

— оо 

Теперь,  используя  (1.25)  и (1 .26),  можно  определить  услов- 
ные вероятности  ошибочных  решений  по  формулам 

оо 

«=  ^ \Ѵі  (г | 50) <іг  = 1 — Рі  (Іпс  I 5ц),  (1.43) 

ІП  С 

1п  с 

Р=  5 (2 1 50  — Рі  (1п  с | 5і).  (1.44) 


Здесь  Гі  (г  | 50)  и Р 4 (г  | 54)  — условные  интегральные 
функции  распределения  1п  I (хи  . . .,  хп). 

Если  п велико  и условные  дисперсии  М2  {1п  I (х)  | 5;} 
ограничены,  то  распределение  1п  I (хи  . . .,  хп)  как  суммы 
большого  числа  одинаково  распределенных  независимых 
случайных  величин  [см.  (1.38)]  согласно  теореме  Ляпунова 
(см.  § 3.4  в первой  книге)  приближается  к нормальному. 
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В этом  случае 

ц,‘(г|5")~  ѵ^ир{-  'Т.У  }■  <145) 

'ѵ,(г|5|>~  т^Гехр{~  ІгТГ‘ 1,1  }■  (М6) 

где 

т10  = тх  {1п  / (х)  | 50>,  М2о  = Л42{1п/(.ѵ)|50},  (1.47) 

тп  = піі{\пІ(х)\8і},  М2і  = М2{Ы(*)|5і}.  (1.48) 

Тогда  имеют  место  следующие  асимптотические  соотно- 

шения [см.  (1.43)  и (1.44)]: 

,|49) 

р^^(1п.-птіП  ^ (150) 

' V пМ2\  ' 

где  5 е‘Тл 

— ОО 

(интеграл  Лапласа,  см.  § 2.2.2  в первой  книге). 

Можно  показать  (см.  задачу  1.10),  что  ті0  < 0 и ти  > 0. 
Отсюда  следует,  что  при  п -у  о о одновременно  а -у  0 и |3  -у 
-у-  0 (для  критерия  Неймана  — Пирсона  при  заданном  а 
стремится  к нулю  [}). 

Правило  решения,  для  которого  вероятность  ошибки 
асимптотически  (при  п оо)  стремится  к нулю,  называет- 
ся состоятельным. 

1.2.6.  Минимаксное  правило.  Исследуем  также  мини- 
максное правило  выбора  решения,  воспользовавшись  тем 
обстоятельством,  что  это  правило  представляет  специальный 
случай  байесовского  решения  для  наименее  благоприятного 
априорного  распределения  состояний  изучаемого  явления 
(см.  § 1.1.6).  Так  как  в рассматриваемом  случае  проверки 
простых  гипотез  имеется  лишь  два  возможных  состояния  50 
и 5і,  то  указанное  распределение  определяется  лишь  одной 
вероятностью  с\  (или  р = 1 — д).  Поэтому  для  того,  чтобы 
найти  то  значение  </,  с которым  связано  наибольшее  значе- 
ние байесовского  риска,  необходимо  определить  максимум 
величины  /?*  как  функции  используя  (1.23)  и имея 
в виду,  что  эта  переменная  входит  в правую  часть  (1.23) 
как  непосредственно,  так  и через  а*  и р*  [см.  (1.25)  и (1.26)]. 
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ПраВуЮ  ЧаСТЬ  (1'23^  по  приравнивая 
результат  дифференцирования  нулю  и учитывая,  что  точки 
поверхности,  разделяющей  критическую  и допустимую 
ооласіи  пространства  выборок,  удовлетворяют  условию 
И-і),  приходим  к трансцендентному  уравнению  относи- 
тельно искомого  наименее  благоприятного  значения  веро- 
ятности ^ н 

Поо[1-а*(?)]  + П01а*((?)  П10р*  (д)  + Цп  [ 1 _ р.  (д)],  (1.51) 

Уравнение  (1.51)  непосредственно  следует  из  (1.17)  и (1.17') 
так^как  оно  просто  выражает  равенство  условных  рисков 
г°  ~~  Гі  Для  байесовского  решения.  Это  равенство,  как  ука- 
зывалось в § 1.1.6,  и характеризует  минимаксное  правило 
выбора  решения.  Подставляя  (1.25)  и (1.26)  в (1.51),  можно 
указанное  трансцендентное  уравнение  относительно  д 


(или  р = привести  к виду 


“Щі-Пп'  + С*[  1 ~ (цс*)]  = ? и (іО-  (1 .51 ') 

Решая  уравнение  (1.51')  и выделяя  тот  корень  уравнения 
Рмм  (и,  следовательно,  <7ММ),  которому  соответствует 
абсолютный  максимум  байесовского  риска,  приходим  к сле- 
дующему минимаксному  правилу  выбора  решения'  прини- 
мается решение  у,  (отвергается  гипотеза  Н0),  если  для 
наблюдаемой  выборки  хь  . . .,  хп  выполняется  неравенство 


Р ММ 

Я мм 


1(хи  . ..,*„)> С*, 


(1.52) 


и решение  у0  (утверждается  справедливость  гипотезы  Н0), 
если  выполняется  неравенство,  противоположное  (1.52)! 

Величина  минимаксного  риска  в соответствии  с (1.23), 
(1.25)  и (1.26)  может  быть  вычислена  по  формуле 

°мм  = РммПоо  + РммПіо  + Ѵмм  (П01  — П00)  амм  — 

— Рмм  (Пю  — Пц)  (1  — рмм),  (1.53) 

где 


«мм—  1 — Уіо(РммС*),  Рмм  =-  рц  (рммС*).  (1-54) 

Разность  7<?ым  1?*  > 0 между  минимаксным  (при 

неизвестном  </)  и байесовским  риском  (при  известном  а) 
является  платой  за  отсутствие  априорной  информации 
о состояниях  изучаемого  явления. 
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Резюмируя  сказанное  в § 1.2.2— 1.2.5,  можно  отметить, 
что  для  всех  рассмотренных  критериев  процедура  про- 
верки простой  гипотезы  сводится  к сравнению  отношения 
правдоподобия  с порогом  *)  с.  Выражения,  определяющие 
этот  порог  для  различных  критериев,  сведены  в табл.  1. 


Таблица  1 

Критерий 

Порог  с 

Байесовский 

<7 

Поі  — Поо 

р 

11 10  — Пц 

Максимум  апостериорной  вероятности 

Р 

Максимум  правдоподобия 

1 

Неймана  — Пирсона 

Из  уравнения  Тю  (с)  = 1 — а 

Пц]  — 1 Со 

Минимаксный 

М'імм  п п 

1 1 іо  — л и 

Р мм  из  О -51) 

1.2.7.  Последовательный  анализ.  Отличительной  осо- 
бенностью всех  рассмотренных  процедур  выбора  решения 
при  проверке  простой  гипотезы  была  неизменность  заранее 
заданного  размера  выборки  п.  Существует  другой  подход 
к установлению  правила  выбора  решения,  при  котором 
отказываются  от  постоянного  размера  выборки,  а ограничи- 
вают эту  величину  в процессе  эксперимента  в зависимости 
от  результатов  уже  выполненных  наблюдений.  Вначале 
наблюдают  одно-единственное  значение  (извлекают  выбор- 
ку размера  п = 1)  и на  основании  этого  значения  по  заранее 
установленному  правилу  выбирают  одно  из  трех  решений: 

1)  принять  гипотезу  Н0  (решение  у0),  2)  отвергнуть 
гипотезу  #о,  т.  е.  принять  гипотезу  Ні  (решение  у4),  3)  про- 


*)  Заметим,  что  критическая  область,  для  которой  I (х і,  . . . 
. . . , хп)  ^ с,  не  обязательно  односвязная  (см.  задачу  1.5). 
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должшпь  наблюдения,  т.  е.  отказаться  на  данном  этапе 
от  принятия  одного  из  решений,  у0  или  у4. 

Если  принимается  решение  у0  или  у4,  то  на  этом  экспе- 
римент заканчивается.  В противном  случае  извлекают 
следующую  выборку,  и описанная  процедура  повторяется: 
на  основании  выборки  (хи  х2)  размера  п = 2 либо  прини- 
мается гипотеза  Н0,  либо  она  отвергается,  либо  считается, 
что  эта  выборка  недостаточна,  чтобы  принять  окончатель- 
ное решение  у0  или  у4.  Если  принята  или  отвергнута  гипо- 
теза Я0,  то  на  этом  наблюдения  оканчиваются,  а если  окон- 
чательное решение  не  принято,  то  наблюдают  следующее 
значение  х3,  и указанная  процедура  повторяется  относи- 
тельно выборки  (хи  х2,  х3). 

Испытание  заканчивается  на  той  выборке,  на  основании 
которой  удается  принять  одно  из  двух  решений,  у0  или  у4. 
При  последовательном  анализе  размер  выборки  п заранее 
неизвестен  и является  случайной  величиной.  Теперь  на  каж- 
дом этапе  пространство  выборок  соответствующего  числа 
измерений  должно  делиться  не  на  две,  а на  три  области: 
критическую  Си  допустимую  С0  и промежуточную  0пр. 
Разделение  пространства  выборок  на  три  области  и содержит 
указание  на  то,  должно  ли  быть  принято  одно  из  решений, 
То  или  уь  или  эксперимент  должен  быть  продолжен.  Если 
выборочное  значение  попадает  в критическую  область  О,, 
то  гипотеза  Н0  отвергается;  если  — в допустимую  область  О0, 
то  она  принимается,  и если  выборочное  значение  попало 
в промежуточную  область  Опр,  то  это  служит  указанием 
на  необходимость  продолжить  наблюдения. 

Как  и в случае  непоследовательного  анализа,  число  спо- 
собов разбиения  пространства  выборок  не  ограничено. 
Следовательно,  возможны  самые  разнообразные  правила 
выбора  решения,  и,  очевидно,  опять  необходимы  какие-то 
критерии  качества,  при  помощи  которых  можно  было  бы 
сравнивать  различные  процедуры  последовательного  ана- 
лиза и выбирать  наилучшую.  В качестве  такого  критерия, 
вполне  разумного  и естественного,  часто  выбирают  мини- 
мальную среднюю  стоимость  эксперимента.  Если  считать, 
что  стоимость  эксперимента  пропорциональна  размеру 
выборки  п,  то  критерием  качества  последовательного  прави- 
ла выбора  решения  служит  минимум  среднего  значения 
размера  выборки,  необходимой  для  принятия  решения  у0 
или  Уі  (т.  е.  для  завершения  последовательного  анализа) 
при  условии,  что  уровень  значимости  не  превышает  а, 
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а мощность  не  меньше  1 — р . Заметим  при  этом,  что  средние 
значения  размера  выборки  ш,  {п  \ Я0}  и т,  { п | Я,}  при 
справедливости  гипотез  Я 0 и Н і соответственно,  вообще 
говоря,  не  равны  и требуется  минимизация  обеих  ве- 
личин. 

Как  показал  А.  Вальд  [31,  среди  всех  правил  выбора 
решений  (последовательных  и непоследовательных),  для 
которых  условные  вероятности  ошибок  не  превосходят 
величин  аир,  последовательное  правило  выбора  решения, 
состоящее  в сравнении  отношения  правдоподобия  I (хи  . . . 

хл)  с двумя  порогами  *)  с0  и с,,  приводит  к наимень- 
шим значениям  тх  { п | Н0}  и /л4  {п  | Я,}. 

Оптимальное  разбиение  пространства  выборок  опреде- 
ляется следующими  неравенствами: 

для  допустимой  области  (С0) 

с0  </(*!,  . . ,,хк)<си  к 1,  (1.55) 

/ (л  ] , . . . , Хп)  Со", 

для  критической  области  (О]) 

с0  </(*,,  . . .,хк)<Сі,  6=1,..., /г  — 1,  (1.55') 

/ (хі,  . . . , хп)  ^ с, : 

для  промежуточной  области  (0пр) 

с0<  1(хи  . . .,  хк)<.си  к 1 ,...,/г.  (1.55") 

Точное  определение  порогов  с0  и с4  сопряжено  со  зна- 
чительными математическими  трудностями.  Однако  было 
доказано  [3],  что 

с,  < гпах  (1.56) 

с0>пііп  , -Ь5.)  • (1.56') 

В практически  интересных  случаях,  когда  условные 

вероятности  ошибок  не  превышают  значения  0,5,  имеем 
1-Р^  р 

, и эти  неравенства  могут  быть  переписаны 

в виде 

со>-г~ -•  (1-57) 


42 


*)  Величины  с0  и Сі  зависят,  вообще  говоря,  от  п 


Следующий  шаг  состоит  в замене  неравенств  (1.57)  равен- 
ствами, что  не  очень  сильно  увеличивает  погрешность 
(подробнее  см.  [7,  стр.  142—143]). 

Таким  образом,  с некоторым  приближением  оптимальное 
последовательное  правило  выбора  решения  может  быть 
сформулировано  следующим  образом:  при  п- м наблюдении 
принимается  решение  у0,  если  *) 

**)  <“Цг-’  к = 1 п-  1 (1.58) 

И 

• ■ ■.*1.)<т~<  1;  (1.58') 

принимается  решение  если  выполняются  неравенства 
(1.58)  и 

1(хі,  ■ • .,*„)>ІТІІ>  і.  (1.58") 

Заметим,  что  при  указанных  выше  допущениях,  в отли- 
чие от  байесовского,  последовательное  правило  предписы- 
вает сравнение  отношения  правдоподобия  с порогами, 
не  зависящими  от  априорных  вероятностей  состояний  и от 
величин  потерь.  Эти  пороги  определяются  заданными  веро- 
ятностями ошибок  первого  и второго  рода. 

Если  вместо  отношения  правдоподобия  вычислять  его 
логарифм,  то  указанное  выше  правило  можно  переписать 
в виде,  при  п- м наблюдении  принимается  решение  у0,  если 


ІП  , < 1п  / (Хі,  ...,**)<  ІП  1 р , к .1,  .. 

-,п—  1 

и 

(1.59) 

Іп  1(хі,  . . . ,х„)<1п— — <0; 

(1.59') 

принимается  решение  у,,  если  наряду  с (1.59) 

Іп / (дгі,  . . .,*„)>  Іп  >0. 

ОС 

(1.59") 

Определим  теперь  величины  средних  значений  размера 
выборки  т.1  {п  | Н0}  и т{  {п  ) Я(},  соответствующих  после- 


) ВеР°ятность  того,  что  число  этапов  п в последовательной 
процедуре  проверки  гипотезы  не  ограничено , равна  нулю  (см  17 
стр.  166)).  ' 1 ’ 
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довательному  правилу  выбора  решения.  В рассматриваемом 
случае  логарифм  отношения  правдоподобия  представляет 
сумму  случайного  числа  случайных  величин  [см.  (1.38)]: 

П 

1п/(х4,  . . .,  хп)  = 2 ІП  1(Хі). 

г=  1 


Поэтому  [см.  (3.140)  в первой  книге] 
т{  {1п  1(хи  . . . , хп)  | Н0- 1 }=т1  {п  | Я0;  і }ті  {Іп  / (х)  | Но- і), 
откуда 


пц  {п  1 Н0} 
ті  {п  [ Ні) 


'"і  {ІП  / (ДС! хп)\н0} 

Щ {Іп  I {х)  I Н0\ 

Щ {Іп  I (хі хп)  | Я,} 

тЛ  {Іп  I (х)  | Н і}; 


(1.60) 

(1.60') 


Предположим,  что  при  принятии  решения  (у0  или  у4) 
на  п-м  шаге  величина  отношения  правдоподобия  точно 
совпадает  с одним  из  порогов,  с0  или  с4  (т.  е.  будем  пренебре- 
гать пересечением  порога  на  заключительном  этапе  проверки 
гипотезы).  Тогда  Іп  I (хь  . . .,  хп)  представляет  дискретную 
случайную  величину,  принимающую  два  значения  Іп  с0 
и Іп  Сі  с вероятностями  1 — а и а,  если  верна  гипотеза  Н0, 
и с вероятностями р и 1 — р , если  верна  гипотеза  Н{.  Отсю- 
да следует: 

ГПі{\і\1(Хі,  ...,хп)\  #о}  = 

= (!-«)  Іп-^  + аІп-Ц-і,  (1.61) 

Ші  {ІП  1(хи  ...,хп)\Ні}-  р 1пт^-  + (1  — Р)  Іп 

(1.61') 


Подставляя  (1.61)  в (1.60)  и (1.61')  в (1.60'),  получим 


(1— а)  Іп  г_^  +а  Іп  1 ^ 

піі{п\Но}  = ^ — , (1.62) 


"'іо 


пц  { п | II і} 


Р Іп 


Р 


1 —а 


4 (1-Р)  іп- 


-Р 


"Чі 


, (1.62') 
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где  [см.  (1 .47)  и (1.48)| 


сю 


гщ0  - ті{\пІ(х)\Ни}=  5 ѴМхК)  Іп  [х  I ад)  ^х’  (Ь63) 


— оо 

оо 


— оо 


причем  т10<0,  ш14>  0,  что  непосредственно  следует 
из  формулы  (23)  задачи  1.10. 

Средние  значения  объема  выборки,  определяемые  по 
формулам  (1.62)  и (1.62'),  являются  минимально  возможными, 


ГА") 


3 5 


птах 


П 


Рис.  3.  Функция  распределения  раз- 
мера выборки  при  последовательном 
анализе. 


если  рассматривать  любые  другие  правила  выбора  решений 
(в  том  числе  и непоследовательные ),  гарантирующие  ог- 
раничение вероятностей  ошибок  заданными  величинами. 
В этом  и состоит  основное  достоинство  последовательного 
анализа,  так  как  его  использование  позволяет  в среднем 
сэкономить  на  продолжительности  и стоимости  экспери- 
мента. Однако  оговорка,  что  эта  экономия  достигается 
в среднем,  имеет  весьма  существенное  значение.  Так  как 
в последовательном  анализе  размер  выборки  п — величина 
случайная  и ее  возможные  значения  могут  быть  значительно 
больше  среднего  значения,  то  в данном  конкретном  экспери- 
менте может  оказаться,  что  оптимальная  последователь- 
ная процедура  приведет  к чрезмерно  большому  размеру 
выборки. 

Это  обстоятельство  иллюстрирует  рис.  3.  Заштрихован- 
ная часть  соответствует  размерам  выборок,  большим  неко- 
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торой  допустимой  величины  птах.  Хотя  в 80%  случаев 
будет  иметь  место  выигрыш  в длительности  процедуры 
проверки  гипотезы  по  сравнению  с непоследовательным 
анализом  с заданным  размером  п = птах,  все-таки  будут 
такие  «несчастливые»  случаи,  когда  процедура  последова- 
тельного анализа  окажется  более  длительной,  чем  непосле- 
довательного. Естественно,  приходит  мысль  о способе  устра- 
нения этого  недостатка,  который  заключается  в том,  что 
заранее  устанавливается  максимальное  значение  объема 
выборки  птах,  при  достижении  которого  процедура  после- 
довательного анализа  заканчивается  и обязательно  при- 
нимается одно  из  решений,  у0  или  у4  (если,  конечно,  они 
не  были  приняты  раньше).  Таким  образом,  можно  обезопа- 
сить себя  от  случаев,  когда  п > птах. 

Указанная  процедура  проверки  гипотез  называется 
усеченным  последовательным  анализом.  При  усеченном 
последовательном  анализе  до  птах  устанавливается  два 
порога,  с которыми  сравнивается  отношение  правдоподобия, 
а если  размер  выборки  достигает  величины  птах,  то  соот- 
ветствующее отношение  правдоподобия  сравнивается  не 
с двумя  порогами,  а только  с одним,  как  при  непоследова- 
тельном анализе.  Чем  меньше  птах,  т.  е.  чем  сильнее  усе- 
чение, тем  меньшим  будет  выигрыш  в среднем  времени, 
получаемом  от  последовательного  анализа. 

Правило  выбора  решения  при  усеченном  последователь- 
ном анализе  формулируется  следующим  образом:  если  при 
размерах  выборки  п<Сптах  правило  (1.59)  не  приводит 
к выбору  одного  из  решений  (у0  или  то  гипотеза  Н0 
отклоняется  (принимается  решение  у4),  если 

ІП ТПа  < 1п с < 1п  / (хи  . . Хптах)  < 1п , (1.64) 

и принимается  гипотеза  //0  (решение  у0),  если 

1піЛг<1п/(хі’  •■•.*0<1пс<Іп-Цг-.  (1-64') 


При  использовании  правила  (1.64)  вероятности  оши- 
бок аус,  р ус  первого  и второго  рода  могут  оказаться  боль- 
шими, чем  заданные  аус> а,  рус>|3,  так  как  принимае- 
мые при  этом  ошибочные  решения,  возможно,  не  появились 
бы  при  продолжении  испытаний  ( п > птах ).  Верхние  гра- 
ницы условных  вероятностей  ошибок  при  усеченной  после- 
довательной процедуре  принятия  решения  определяются 
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неравенствами 

аус<а  + Р 1 1п—~--  > !п / (лу,  . . -,Хптах)>  1пс|  //„}  , 

(1.65) 


Руо<Р4-  Р |іпс>  Іп  / (лгц 


Хп 


тах 


)>1п 


р 

1 — а 


»,}. 

(1.65') 


При  птах  > 1,  как  показано  в [3],  эти  неравенства  запи- 
сываются в виде 


аус  < а -(-  Р 


— Р 


, ‘-Р 

ІП  ПтахПЦ о 

птахМ  20 
Г И с пгпахп1Ю  П 
1-  ~\/  ПпіахМ  20  -1 


Рус<Р 


1+р[ 


ІП  С Птах,п  11 
птах^2\. 


-Р 


Р 


' ЯтахЛЦі 


~\/  птахМ  2і 


где  ті0,  гпп,  М20,  М2 1 определяются  согласно  (1.47) 
и (1.48)  и Р(х)  — интеграл  Лапласа. 

Заметим,  что  так  как  1п-у-~  ■ -< 0 и Іп  >0, 

то  величина  порога  с = 1 при  усеченной  последовательной 
процедуре  всегда  приемлема  [см.  (1.64),  (1.64')].  Соображе- 
ний относительно  оптимального  выбора  порога  с пока 
не  существует. 


1.3.  ПРОВЕРКА  ПРОСТОЙ  ГИПОТЕЗЫ 
О ПАРАМЕТРЕ  РАСПРЕДЕЛЕНИЯ 


1.3.1.  Среднее  значение  нормальной  случайной  величины. 

Проиллюстрируем  теперь  изложенные  в этом  разделе  общие 
методы  на  нескольких  примерах.  Начнем  с простейшего 
примера  проверки  гипотезы  Н0  о том,  что  среднее  значение 
нормальной  случайной  величины  равно  а0,  при  простой 
альтернативе  Ни  что  среднее  равно  а4.  Предположим,  что 
дисперсия  а2  нормальной  случайной  величины  известна 
точно  и что  выборка,  на  основании  которой  проверяется 
гипотеза,  состоит  из  независимых  элементов  . . .,  Хп. 
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Так  как  любая  из  рассмотренных  оптимальных  процедур 

подХ"  ПГезы  С0СТГ в сра“"  рпрТ5„р 

( ь • • •!  хп)  или  его  логарифма  с некоторым 

орогом  (иди  с дву», я порогами  ири  последовательном  аТ 
лизе;,  ю выпишем  сначала  выражение  для  1п  I (х,  г ) 

элементах  вХрТ””  раСПрщ“енм  "Р"  независимы* 

п 

1п  1{хи  ■ . .,а-„)  = 2 1п ЦХі) 

І=  1 


1 

Г (А'і-а,)2  Л 

а У 2л.  слв 

1 2 а2  ] 

> I 

(X;  — а0)2  л 

а У 2^  6ХР  1 

2а2  ] 

2 |п 

г— 1 


Оо  )2-(Хі~аіу] 


2а2  2 
І=1 

п (о-І-ар 


аі~ао  V у.— 
ст2  Аі  1 2 а2 

г=1 


(1.66) 


Теперь  нетрудно  сформулировать  правило  выбора  реше- 

1Ипі"РИ  непоследовательном  анализе,  т.  е.  фиксированном 
аранее  размере  п выборки).  Принимается  решение  у, 
(среднее  равно  о,),  если  для  наблюдаемой  выборки  хи 

• • • і 


_1_  V \ ао  + 0] 
п Аі  Хі  > 2 — 

г=1 


о2  1п  с 


п (аі  — и0)  К"  «От  (1-67) 

и принимается  решение  у0  (среднее  равно  а0),  если  выпол- 
няется неравенство,  противоположное  (1.67)  Величина  по- 
рога в зависимости  от  выбранного  критерия  определяется 
согласно  табл.  1 на  стр.  40.  1 

Если  аі  < а0,  то  знак  неравенства  (1.67)  изменяется 
на  противоположный  и правило  выбора  решения  у,  запи- 
сывается в виде  п 


4-2^ 


< 


а0+  О) 


І=1 


ст2  !п  с 

п(а0-а,)  ’а‘ 


: ап 


(1.67') 


Іаким  образом,  процедура  проверки  гипотезы  о среднем 
значении  нормальной  случайной  величины  сводится  к спав- 

нению  среднего  арифметического  выборочных  значений 
с порогом:  """ 

К Дрт- <3[  а2  1 п с 

2 +^(а1-ао)і-  (1-68) 
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Поверхность,  разделяющая  допустимую  и критическую 
области  пространства  выборок,  представляет  в этом  случае 
гиперплоскость,  перпендикулярную  единичному  вектору 
и расположенную  от  начала  координат  на  расстоянии,  рав- 
ном пК- 

Нетрудно  в рассматриваемом  случае  найти  выражения 
условных  вероятностей  ошибок.  Так  как  сумма  нормальных 
случайных  величин  имеет  нормальное  распределение  и так 
как 


п „ 

^ ті{^УАхі\НЛ=а1,  (1.69) 

і — і ^ 1 


Ь * “1  І—  1 

а при  независимых  элементах  выборки 

Ъ х>  I яо}  ^2  I НЛ  = ^ , (1 .70) 

і — 1 і~  1 

то,  используя  (1.67)  [см.  также  (1.43)  и (1.44)],  находим 
(при  йі  > а0) 


а 


Ѵп 


а у 2 л 


= \ е 


"(;/-яр)2 

2°2  йу  = 


У 2г 


<2 

2 (11  - 


К- ПО 


Г ( 


К — а0 


Ѵп),  (1.71) 


Ѵп 


Р 


У п 

а У 2 л 


п(і/—а1)2 

е ^ сіу  = 


— оо 


К-аі  г— 
У п 


У 2л 


1 2 

2 йІ  = 


?{У^Ѵп), 


(1.72) 


где  Р (х)  — интеграл  Лапласа  [см.  (1.49)  и (1.50)]. 

На  рис.  4 иллюстрируется  рассматриваемое  правило 
выбора  решения.  Пунктирные  кривые  изображают  исход- 
ные функции  распределения,  соответствующие  гипотезам  Н0 
и Н х.  Сплошными  линиями  показаны  функции  распределе- 
ния среднего  арифметического  выборочных  значений  для 
тех  же  гипотез.  Порог  установлен  по  критерию  максималь- 
ного правдоподобия  (с  = 1).  Площади  заштрихованных 
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участков  равны  вероятностям  ошибок  первого  и второго 
рода,  которые  при  К --  ■-'-|Ц~П|-  совпадают. 

Величина  К в (1.71)  и (1.72)  для  первых  трех  критериев, 
указанных  в табл.  1 (на  стр.  40),  определяется  непосредст- 


Рис.  4.  Правило  выбора  решения  для  проверки  гипотезы 
о среднем  нормальной  случайной  величины. 


венно  по  формуле  (1.68),  так  что  эти  формулы  могут  быть 
переписаны  в виде 


а - 


-Г 


ГЗ-.Я0.  1 /п  + ДІНІ 1 

Ь 20  ' ^ Ѵп{а,-а0)\  ’ 


а 1п  с 


Ѵп  (аі  — а0) 


]• 


аі>а0. 


(1.73) 

(1.73') 


Из  приведенных  формул  видно,  что  условные  вероятно- 
сти ошибок  при  заданном  с определяются  еще  только 

одной  величиной  сіп  = а--—а°  У п.  Нетрудно  проверить, 

что  среднее  и дисперсия  логарифма  отношения  правдоподо- 
бия связаны  с этой  величиной  простыми  соотношениями: 

т1  { 1 п / (лу,  . . . , АГ„)  1 Я,}  = 

гі2 

= т±  {1п  / (лгі,  . . . , хп)  | Но}  = — 2~  , 

М2  { 1 п I (хі,  . . .,хп)  \ Ні}  = М2{\пІ(хи  . . .,хп)  \ Н0}  = с1п. 

Заметим,  что  из  (1.49)  и (1.50)  следует,  что  при  п — оо  веро- 
ятности ошибок  стремятся  к нулю  в соответствии  с указан- 
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ным  выше  (§  1.2.5)  результатом.  В этом  случае  распреде- 
ление среднего  арифметического  выборочных  значений 
приближается  к дельта-функциям  в точках  у = а0,  у = аь 

а порог  К ->■  а°  ^п‘  . 

Для  критерия  максимального  правдоподобия  (рис.  4) 

(1.74) 

При  заданном  а - |3  из  (1-74)  находим  необходимый  размер 
выборки: 

П = 4(^Ухі'  С-74') 

где 

ха  = ат%Р(х). 

В математической  статистике  величину  ха  называют 
обычно  процентным  отклонением  случайной  величины  *), 
т.  е.  такую  абсциссу  кривой  распределения,  которая  харак- 
теризуется тем,  что  часть  площади  под  этой  кривой,  нахо- 
дящаяся правее  точки  ха,  равна  а.  Иначе  говоря, 

Р{1>ха}=,-а.  (1.75) 

В формуле  (1.74')  величина  ха  представляет,  таким  обра- 
зом, процентное  отклонение  нормальной  случайной  величи- 
ны. В приложении  1 дана  таблица  процентных  точек  нор- 
мального распределения. 

Для  критерия  Неймана  — Пирсона  при  заданном  уров- 
не значимости  а величина  К определяется  по  формуле  (аЛ  > 
> а0) 

К = ао  + у=пХа.  (1.76) 


) Очевидно,  что  процентное  отклонение  случайной  величины 
с,  совпадает  с (1  а)-квантилью  ее  функции  распределения 
гі  (х),  так  как  согласно  (1.75)  ха  является  корнем  уравнения 
гі  (х)  1 сс  (см,  первую  книгу,  стр.  48).  Особые  случаи  могут 

возникать,  когда^  Р (х)  разрывна  или  когда  имеются  интервалы 
на  действительной  оси,  для  которых  интегральная  функция  распре- 
деления сохраняет  постоянное  значение.  Во  избежание  недоразуме- 
ний следует  иметь  в виду,  что  иногда  (см.,  например  [5])  отклонение 
определяется  иначе:  в (1.75)  вместо  | подставляют  ее  абсолютное 
значение  Р (|  § | ^ Аа)  = а.  В этой  книге  везде  используется 
определение  (1.75).  Для  случайной  величины  с симметричной  отно- 
сительно начала  координат  функцией  распределения  ха  = % 2<х • 
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Вероятность  ошибки  второго  рода  в рассматриваемом 
случае  определяется  подстановкой  (1.76)  в (1-72): 

$=?[-- а-^Ѵп  + ха]  (1.77) 

или 

Ха  — Хі-ѵ-  — ^ V п , «і  > а0.  (1.77') 

Соотношение  (1.77')  устанавливает  связь  между  заданным 
размером  выборки  п,  условной  вероятностью  ошибки  пер- 
вого рода  а и минимально  возможной  вероятностью  ошибки 
второго  рода  р.  При  п ->  оо  из  (1-77)  следует,  что  (3  — >-0 
в соответствии  с общим  результатом,  указанным  в § 1.2.5. 

Заметим,  что  порог  К,  устанавливаемый  по  критерию 
Неймана  — Пирсона  в соответствии  с (1.76),  не  зависит 
от  величины  а4. 

Следует  подчеркнуть,  что  вероятности  ошибок  а и Р 
в байесовском  решении  и вероятность  ошибки  второго  рода 
(при  заданном  а)  для  критерия  Неймана  — Пирсона  зависят 
не  от  каждой  из  величин  п,  а0 , ах  и о в отдельности, 

а лишь  от  их  единственной  комбинации  Лп  = Ді  а°  У п. 
Отсюда  следует,  что  при  уменьшении  (в  К раз)  величины 
--1  ~ а°  (различение  близких  гипотез)  для  сохранения  вели- 
чин вероятности  ошибок  потребуется  увеличение  (в  К2  раз) 
размера  выборки  п.  Состоятельность  правила  решения  будет 

в этом  случае  лишь  тогда,  когда  — убывает  медлен- 

1 

нее,  чем  — — при  п— > оо. 

V п 

Если  ах<_а0,  то  решение  по  критерию  Неймана  — 

Пирсона  принимается  при  условии  [ср.  (1-67')] 
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1 ѵн  ^ в 

— 2,  Хі<а0—  у=ха. 

І=1  ѵ 

Вероятность  ошибки  второго  рода  тогда  равна 

Р = ^[_ы^+Ха] . 

Рассмотрим  теперь  минимаксное  правило  решения,  пола- 
гая П00  = Пц  = 0,  ІТоі  = Ш10.  Тогда  с*  7,  с = ^|х  = ^ 
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и уравнение,  определяющее  наименее  благоприятную  вели- 
чину априорной  вероятности  <7„м  = 1 — ркы,  может  быть 
в соответствии  с (1.51)  и (1.73)  и (1.73')  представлено 
в виде 


1-7 


'[ 


Щ— До 

2а 


У п 


У п (а,  - 


Іпт 

-а  о)  1 


1 

—д\ 


4Д 


-о  О 


2 а 


У п + 


Уп  (щ— а0) 


?7  1 
1-?] 


(1.78) 


При  7 = 1 из  (1.78)  следует,  что  щ,м  = Как  и следовало 
ожидать,  при  одинаковых  потерях  из-за  ошибок  первого 


и второго  рода  наименее  благоприятным  с точки  зрения 
байесовского  риска  является  равновероятное  появление 
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На  рис.  5 показана  зависимость  байесовского  риска  7?* 

от  величины  ц при  1 2сг"°  У п ^ П Для  этого  случая,  как 

это  следует  из  (1.23),  (1.73)  и (1.73'),  выражение  для 
имеет  вид 


При  заданном  X наименее  благоприятная  величина  дмм 
соответствует  максимальному  значению  #Мм  = Я*  (<7ым)- 
Как  видно  из  рис.  5,  при  X = 1 потери  уменьшаются  не  очень 
значительно  при  ц Ф дмм,  однако  при  X = 10  минимаксное 
правило  может  показаться  чересчур  осторожным.  Такая 
осторожность,  однако,  является  гарантией  того,  что  потери 
никогда  не  превысят  величины  7?мм.  Действительно,  если 
при  X = 10  немного  отойти  от  наименее  благоприятной 
величины  <7мМ  = 0,3  и принять  байесовское  решение 
при  = 0,2,  то  средние  потери  будут  уменьшены  всего 
на  20%.  Если  же  в действительности  дф  а применяется 
байесовское  решение  для  = </4,  то  средний  риск  будет 
изменяться  в зависимости  от  ^ по  линейному  закону  К (</)  = 
= Яго  (Я  і)  + (1  — я)  г і ((/О  (касательная  в точке  ^ <7, 

к кривой  Ц*  (</ ) при  X — 10  на  рис.  5)  и при  некоторых  зна- 
чениях д может  значительно  превысить  величину  /?мм, 
соответствующую  минимаксному  правилу  (см.  заштрихо- 
ванную часть  рис.  5). 

В заключение  этого  примера  рассмотрим  последователь- 
ное правило  выбора  решения.  В этом  случае  для  заданных 
вероятностей  ошибок  аир  логарифм  отношения  правдопо- 
добия (1.66)  должен  сравниваться  с двумя  порогами  1п  рЦ 

и 1п  (при  а < 0,5,  р < 0,5).  Подробнее  говоря,  при 

аі  > а0  на  п- м этапе  принимается  гипотеза,  что  среднее 
нормальной  случайной  величины  равно  а0,  если 


_ V г ^ао  + аі  | 1—  « 

п ■<— - ' 1 2 1 п (от  — а0) 

і=  1 


(1.79) 


принимается  гипотеза,  что  среднее  равно  а,,  если 


П 


_1_ 

П 


Хі  ^ 


і=  1 


п(аЛ  — а0)  ’ 


(1.79') 


и продолжаются  наблюдения,  если  не  выполняется  ни  одно 
из  неравенств  (1.79)  и (1.79'). 

Для  того  чтобы  определить  средние  значения  размеров 
выборки  до  принятия  окончательного  решения  (минимально 
возможные),  необходимо  в соответствии  с (1.62)  и (1.62') 
определить  средние  логарифма  одномерного  отношения 
правдоподобия  для  двух  случаев:  1)  когда  параметр  рас- 
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пределения  равен  а0,  2)  когда 
Так  как  согласно  (1.66) 


1п  / (х) 


аі  — а0 

а 2 


этот  параметр 
а!  — аі 

2а2  ’ 


равен  а,. 


где^х  нормальная  случайная  величина  с известной  диспер- 
сией о-  и средним  о0  (или  а{),  то  в рассматриваемом  примере 


ты  -= 


«і  — «о 

а2 


а0 


°і—  До  __ 
2а2 


(Ді  — До)2 

2а2 


(1.80) 


т п 


аі~ао  „ а\  — аі 

а2  а^  2аТ~ 


(Ді  — До)2 

2а2 


(1-81) 


Подставляя  (1.80)  и (1.81)  в (1.62)  и (1.62'),  получим 


(1- 

Щ {«  | а0}  = 2 о3 

Р 1п  - 

г»і  [п  | а,}  = 2а2 

Из  этих  формул  видно, 
до  принятия  окончательного 


, , 1 — а . а 
а)  1п  — + 0:1,1  — 

(Ді  — До)2  ’ 


(Ді  — До)2 

что  средний  размер 
решения  (у0  или  у,) 


пропорционален  квадрату  величины  - 22  . 

При  а = Р е<0,5 


(1.82) 

(1.83) 

выборок 

обратно 


тх{п\а0}-  т1{п\аі}  = 2 (^^)2(1-2в)  Іп-Ц^  . (1.84) 

В табл.  2 приведены  (при  ^ а°  _ значения  средне- 
го объема  выборки,  подсчитанного  согласно  (1.84),  и объема 


Таблица  2 


е 

0,001 

0,01 

0,05 

0,1 

0,2 

щ { П } 

13,7 

9,0 

5,3 

3,5 

1,67 

п 

38,2 

21,6 

10,6 

6,5 

2,8 

п/піу  { п } 

2,78 

2,41 

2,00 

1,85 

1,68 

(еус)тах 

0,0023 

0,0197 

0,096 

0,185 

0,355 
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выборки,  необходимого  для  достижения  заданных  условных 
вероятностей  а = р = е при  использовании  непоследова- 
тельного правила  по  критерию  максимального  правдопо- 
добия [см.  (1.74')].  Предпоследняя  строка  этой  таблицы 
указывает  на  величину  выигрыша  при  использовании  после- 
довательного правила  *) 


п 

Щ{п} 


2х‘е 


(1— 2б)  1п 


(1.84') 


причем  это  отношение  не  зависит  от  величины . 

Г а,  — о0 

Заметим,  что  для  этого  случая  при  усечении  последова- 
тельного анализа  п<Сптах  и с = 1 из  (1.65)  и (1.65') 
следует,  что  верхние  границы  вероятностей  ошибок  одина- 
ковы и равны 

(ёус)тах  = е + Р (4  + | 1п  І=±)  - Р (4)  , (1  .84") 
где 


В последней  строке  табл.  2 приведены  величины  (еус),тх 
при  0і~~а°  — 1 и Птах,  совпадающем  с размером  п выборки 

для  непоследовательного  правила  (третья  строка  таблицы). 

1.3.2.  Дисперсия  нормальной  случайной  величины.  Пред- 
положим теперь,  что  среднее  значение  нормальной  случай- 
ной величины  равно  нулю,  а относительно  ее  дисперсии 
выдвигается  гипотеза  Н0,  что  она  равна  о„,  против  простой 
альтернативы  Яь  что  дисперсия  равна  оф  Сохраним  пред- 
положение о независимости  элементов  выборки,  на  основа- 
нии которой  должно  быть  принято  решение  о принятии  или 
отклонении  гипотезы,  и запишем  выражение  логарифма 
отношения  правдоподобия: 


Ы(*1,  ...,*„)=  2 1пЙехР{-Т-(^— 5|)}] 


к=  1 


,СТ0  1 ( 1 1 \ 

ПІП—  — -=-  -т 5- 

Оі  2 и ад  / 


У, 


V2 


(1.85) 


Й=і 


*)  Здесь  хе  — процентное  отклонение  нормальной  случайной 
величины.  Заметим  также,  что  рассмотренный  для  примера  случай 
а = Р не  соответствует  наибольшей  эффективности  последователь- 
ного анализа.  Величины  выигрыша  получаются  большими  при  а « Р 
или  р «а  (см.  [1,  стр.  57]). 
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Тогда  правило  выбора  решения  (при  непоследовательном 
анализе)  можно  записать  следующим  образом:  принимается 
Решение  у,  (дисперсия  равна  ст“),  если  при  ст,  > а0 


2 к,  (і,8б) 

Я=і 

и принимается  решение  у0  (дисперсия  равна  ст*),  если  выпол- 
няется неравенство,  противоположное  (1.86). 

Таким  образом,  процедура  проверки  гипотезы  о диспер- 
сии нормальной  случайной  величины  сводится  к сравнению 
суммы  квадратов  выборочных  значений  с порогом 

(1.86') 


* ст0. 


Поверхность,  разделяющая  допустимую  и критическую 
области  пространства  выборок,  представляет  в этом  случае 

гиперсферу с центром  в начале  координат  и радиусом, 

равным  У К- 

Используя  (1.25)  и (1.26),  можно  найти  выражения 

условных  вероятностей  ошибок.  Так  как  сумма  2 (— )2 

квадратов  нормированных  нормальных  случайных  величин 
имеет  ^-распределения  с п степенями  свободы  (см.  первую 
книгу,  стр.  164),  то  плотности  вероятности  суммы  квадратов 
в левой  части  (1.86)  равны 


Що  (У)  = 


у 

2аб 


у>  о, 


(1-87) 


если  верна  гипотеза  Я0,  и 


Щі  (У) 


1 


У>  о, 


(1.87') 


если  верна  гипотеза  Я,.  Тогда 

П оо 

а Р{ІІ  х\>К\нЛ  = \ щ/10  (у)  сіу  = 

Й=1  к 


(1.88) 
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(1.88') 


г.  К 

I-1  = р { 2 4 < К | /-/)}-=  ^ ( у ) сіу  = 

А=і  О 


где  Г (и,  ѵ)  — неполная  гамма-функция. 

Рис.  6 иллюстрирует  правило  выбора  решения  (1.86). 
Пунктирные  кривые  изображают  исходные  функции  рас- 


Рис.  6.  Правило  выбора  решения  для  проверки 
гипотезы  о дисперсии  нормальной  случайной 
величины. 


пределения,  соответствующие  гипотезам  Н0  и Я4.  Сплош- 
ными линиями  показаны  распределения  суммы  квадратов 
выборочных  значений  для  тех  же  гипотез.  Площади  заштри- 
хованных участков  равны  вероятностям  ошибок  первого 
и второго  рода. 

Величина  К в (1.88)  и (1.88')  для  первых  трех  критериев, 
указанных  в табл.  1 (на  стр.  40),  определяется  непосред- 
ственно из  (1.86').  Для  критерия  Неймана  — Пирсона 
при  заданном  а из  (1.88)  следует: 

К = (1-89) 

где  х2а  — процентное  отклонение  случайной  величины, 
распределенной  по  закону  %2  с п степенями  свободы  *). 
Заметим,  что  порог  К,  устанавливаемый  согласно  (1.89), 
не  зависит  от  величины  сг±. 

*)  Таблица  процентных  точек  ^-распределения  приведена 
в приложении  II. 
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Подставляя  (1.89)  в (1.88'),  получим  соотношение 


о? 

Хі_р  ’ 


(1.89') 


связывающее  заданную  вероятность  ошибки  первого  рода  а 
минимально  возможную  вероятность  ошибки  второго  рода 
Р и Размер  выборки  п,  который  неявно  входит  в (1.89') 
через  ха  и х\ _р.  Отсюда  следует,  что  необходимый  размер 
выборки  для  достижения  величины  0 (при  заданном  а) 
зависит  от  отношения  дисперсий  о\Іа\. 

Если  п > 1,  можно  использовать  асимптотическую  нор- 
мальность случайной  величины,  имеющей  х2-распределение 
Цсм.  первую  книгу,  формула  (1.43)],  и выразить  вели- 

чи"“ “ ,и  Р чеРез  интеграл  Лапласа  [см.  также  (1.49) 
и (1.50)]:  ѵ ’ 

С-90) 

§~Р(~-Ѵ2п}.  (1.90') 

При  п->оо  в соответствии  с общим  результатом,  ука- 
занным в § 1.2.5,  вероятности  ошибок  стремятся  к нулю 
так  как  при  од  > о0  имеем 


— \г2п  — У 2п 

°0 


Ук 

и. 


Ѵ2п~ 


— оо . 


Заметим,  что  при  различении  близких  гипотез 
0 Размер  выборки  растет  пропорционально 

аі  ао 

Для  минимаксного  правила  решения  при  П00  = ІТИ  = 
— 0,  П01  = Ш10  уравнение,  определяющее  наименее  бла- 
гоприятную величину  априорной  вероятности  <7ММ,  может 
быть  в соответствии  с (1.51),  (1.86'),  (1.88)  и (1.88')  представ- 
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лено  в виде  (ал  > а0) 


(1.91) 


а при  п > 1 (выражая  неполную  гамма-функцию  через 
интеграл  Лапласа)  — в виде 


где 


1 — Р (с4  1/2 п)  __  ^ 

1 — Р (с2  У 2«) 


(1-91') 


с2  = 


Гіг 


ІП  — — ) 

Ц Но  п 


1 , <д-|!/2 


1.  (1.91") 


Из  (1.9  Г)  следует,  что  (в  отличие  от  минимаксного 
правила  при  проверке  гипотезы  о среднем)  при  X = 1 
наименее  благоприятная  величина  дмм=/=  1/2.  Эта  величина 
находится  (при  / = 1)  из  равенства  = с2,  которое  с учетом 
(1.91")  приводится  к виду 


^ММ 


*7мм 
Р мм 


^1  — 04)  1 
СГіЧ-СГо  д 


Переходим  к последовательному  правилу  выбора  реше- 
ний. Для  заданных  вероятностей  ошибок  аир  оно  в соот- 
ветствии с (1.59)  формулируется  следующим  образом: 
при  сті  > п0  принимается  гипотеза,  что  дисперсия  нормаль- 
ной случайной  величины  равна  о20,  если  для  наблюдаемой 
выборки 


П 


2 4<- 

А= 1 


2 о%а\ 
п?  — сгі 


(1.92) 


принимается  гипотеза,  что  дисперсия  равна  а®,  если 


2 

Ь=! 


..2  ^ 2 аІа\ 
* о\  — &і 


ІП 


(1.92') 
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и продолжаются  наблюдения,  если  не  выполняется  ни  одно 
из  неравенств  (1.92)  и (1.92'). 

Определим  среднее  значение  размера  выборки,  необ- 
ходимого для  принятия  окончательного  решения,  использѵя 
(1.62)  и (1.62').  Из  (1.85)  имеем 


тю  = ті{\пІ  (х)\ѵІ)  = 


(Т?  — 


2-тр-  піі  (х2 1 аі}  + 1п  = 


---ЩёГт^х2\°  ?}  + 1п 
и,  следовательно, 


піц  = Ш!  {1п  I ( X ) I а;}  = 
о\-аІ 


Нр 

Ні 


1п 


н0 


Іп-Ні  , 
н4 


(1.93) 

(1.93') 


ті  {п  | о;}  --  2 ■ 


(1-а)1п-ЦД+а1п  а 


1-Р 


2 1п  — і- 

н0 


1+- 


Ші  {п  | а}}  = 2 


р !п  - 


(1-р)  1п 


1-Р 


-гі — 1 — 2 1п 


(1.94) 


(1.94') 


н0 


Из  (1.94)  и (1.94')  видно,  что  средний  размер  выборки, 
необходимый  для  принятия  окончательного  решения, 

увеличивается  по  мере  приближения  отношения  — к единице. 

1.3.3.  Параметр  экспоненциального  распределения.  Пусть 
хі>  ■ ■ ■>  хп  представляют  независимые  выборочные  значе- 
ния, принадлежащие  экспоненциальному  распределению 
(см.  первую  книгу,  стр.  106) 

щ (х)  =■  Яе-**,  х>  0,  Х>0.  (1.95) 

Проверяется  простая  гипотеза  Н0  о том,  что  А,  = А,0, 
против  простой  альтернативы  Н ),  что  параметр  распреде- 
ления Я,  = Я1>Я,0.  Логарифм  отношения  правдоподобия 
в этом  случае  равен 


ІП  / (Х\ , . . . , Хп ) — 1п 

А=  1 


Я0е-Яо^ 


= (*1-*о)  2 А.  (1.96) 

*=і 
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Правило  выбора  решения  (для  фиксированного  заранее 
размера  выборки  п)  формулируется  следующим  образом: 
принимается  решение  у,  (параметр  распределения  равен 
?ч),  если 


П 


(1.97) 


и принимается  решение  у0  (параметр  равен  Я0),  если  выпол- 
няется неравенство,  противоположное  (1.97). 

Таким  образом,  процедура  проверки  гипотезы  о пара- 
метре экспоненциального  распределения  вероятностей  сво- 
дится к сравнению  среднего  арифметического  выборочных 
значений  с порогом 


К 


Іп 


Ѵ/п  ’ 


(1.97') 


где  с определяется  в зависимости  от  выбранного  критерия 
качества  правила  решения. 

Так  же  как  и при  проверке  гипотезы  о среднем  нормаль- 
ной случайной  величины,  поверхность,  разделяющая  допу- 
стимую и критическую  области,  представляет  гиперпло- 
скость, перпендикулярную  единичному  вектору  и распо- 
ложенную от  начала  координат  на  расстоянии  пК,  опре- 
деляемом по  формуле  (1.97').  В отличие  от  (1.67),  кри- 
тическая область  (1.97)  расположена  под  гиперпло- 
скостью. 

Найдем  условные  вероятности  ошибок  первого  и второго 
рода.  Известно,  что  сумма  п независимых  экспоненциально 
распределенных  случайных  величин  имеет  ^-распределение 
с 2 п степенями  свободы  (см.  первую  книгу,  задача  3.16, 
а также  предыдущий  параграф).  Учитывая  необходимую 
нормировку,  находим,  что  в рассматриваемом  примере 

71 

случайная  величина  распределена  по  закону  у3  с 2 п 

1 

степенями  свободы.  Поэтому 

П 

а = Р |2Я0  ^ хк  < 2 пКК  ]//(,}=  --(Ти°Л)  ’ О-98) 

1 

п 

р = р{ 2^2  хк>2пХ1К\Ні]  1-Г(”г -П-98') 

1 
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Величина  К в (1.98)  и (1.98')  для  первых  трех  критериев, 
указанных  в табл.  1 (см.  стр.  40),  определяется  непосред- 
ственно из  (1.97').  Для  критерия  Неймана  — Пирсона  при 
заданном  а из  (1.98)  следует  [ср.  с (1.89)1: 

К = (1-99) 

Здесь  Хі-а  — процентная  точка  ^-распределения  с 2 п 
степенями  свободы.  Порог,  определяемый  согласно  (1.99), 
не  зависит  от  величины 

Если  п > 1,  то  можно,  использовав  асимптотическую 
нормальность  ^-распределения,  переписать  (1.98)  и (1.98') 
в виде  [см.  также  (1.49)  и (1.50)] 


а~  Р(2У2п10К  — 2 V п),  (1.100) 

§~\-Р(2ѴШ^-2Ѵп).  (1.Ю0') 


При  п оо  в соответствии  с общим  результатом,  приве- 
денным в § 1.2.5,  вероятности  ошибок  стремятся  к нулю,  так 
как  при  Я]  > Я0 


2 КК 


1п -=*-<!, 

Ао 


2кіК  ~ — 1п  ■—  > 1 . 

Лі 1 Ло 

^0 

Для  минимаксного  правила  решения  при  Поо  = Пи  = 0, 
Пю  = ѵПоі  уравнение,  определяющее  наименее  благопри- 
ятную величину  априорной  вероятности  </мм,  может  быть 
в соответствии  с (1.51),  (1.98)  и (1.98')  представлено  в виде 


г <">- г {".^ЧтИТ) ''"]}  = 

С.Ю1) 


Переходим  к последовательному  правилу  выбора  реше- 
ний. В рассматриваемом  примере  промежуточная  область 
0Пр  определяется  при  заданных  а и р согласно  (1.59)  и (1.96) 
следующими  неравенствами: 


(1.102) 
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В том  случае,  коіда  нарушается  левое  неравенство,  г.  е 

тІ  ^хАЧтНгА'"]'  Ч-юг-) 

й=  1 

принимается  решение  ур:  параметр  распределения  равен 
А-і  [ср.  с (1.97)],  а если  нарушается  правое  неравенство,  т.  е. 

ті  *«>тА1п[тН‘іг)''"]'  (і-і 02") 

к=і 

то  принимается  решение  у0:  параметр  распределения 
равен  Л0. 

Определим  среднее  значение  размера  выборки,  необ- 
ходимого для  принятия  окончательного  решения.  Из  (1.63), 
(1.63'),  учитывая,  что  среднее  значение  случайной  вели- 
чины, распределенной  по  экспоненциальному  закону  (1.95), 

равно  у (см.  стр.  97  в первой  книге),  имеем 

ті0-  тх  { 1 п / (х)  | А0}  = 


Іп-Ь-  — (К-Ьо)4- 

Ло  А0 


-А»>  іп  А 

^0  ^0 


т п = ті  (1п/  (х)  | А^} 
(А,  л — А,0)у|- 

Следовательно,  при  А,і>А,0 


1п  ^ - (К- К)~  - - 1 + 1п 

Л0  А(  Ао 


Щ {п  | А0}  = 


,,  , 1 — а , , а 

(1— а)  1п  — р Ра  1п  у— р 


ті  {п  ! А-л}  = 


Ь—1-Іпфі- 

Ло  ^0 

Р 1п  туг^  + ('  — Р) 1п  ■ 

А-о  , , 1п  Ал 

Т,— І + ІПА 


(1.103) 
(1.103') 

(1.104) 

(1.104') 


1.4.  СЛОЖНЫЕ  ГИПОТЕЗЫ 

1.4.1.  Классификация  задач  двоичного  выбора.  В преды- 
дущем разделе  было  подробно  рассмотрено  решение  задачи 
проверки  простой  гипотезы  против  простой  альтернати- 
вы. Оказалось,  что  для  всех  принятых  в начале  главы 
(см.  § 1.1.6)  критериев  качества  (байесовского,  минимакс- 
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ного,  Неймана  — Пирсона,  последовательного)  решение 
может  быть  доведено  до  замкнитых  формул  или  очень 
простых  асимптотических  соотношений  (справедливых  при 
большом  размере  выборки).  Однако  указанная  задача 
не  всегда  отражает  действительное  положение  вещей  Часто 
и проверяемая  гипотеза,  и альтернатива,  каждая  порознь 
или  обе  вместе,  могут  быть  сложными.  Тогда  возникает 
проблема  выбора  одного  из  двух  решений,  у„  или  ѵ 
относительно  истинности  гипотезы  Н или  ее  альтернати- 
вы л в условиях,  когда  Н и К представляют,  вообще  говоря 
множества  гипотез  (дискрет,  ь:е  или  континуальные)’ 
Ограничимся  в этом  разделе  изложением  параметриче- 
ской теории,  в которой  рассматриваются  процедуры  провер- 
ки гипотез  о принадлежности  выборки  к распределению 
данного  класса  определяемого  одним  или  несколькими 
параметрами.  Точные  значения  этих  параметров  (или  неко- 
торых из  них)  неизвестны.  Априорная  информация  о любом 
параметре  5 содержит  лишь  указание  на  то,  что  он  принад- 
лежит совокупности  возможных  значений  интервала  пара- 
метров (или  пространства  параметров,  если  речь  идет 
о нескольких  параметрах  5,  и,  ѵ,  ...).  Таким  образом 
пространство  возможных  состояний  трактуется  в рассмат- 
риваемом случае  как  пространство  параметров  заданного 
класса  распределении  вероятностей. 

Далее  будут  рассмотрены  задачи  двух  видов:  1)  проверка 
простои  гипотезы  з = 50  против  сложной  альтернативы 
2)  проверка  сложной  гипотезы  з е $н  против  слож 
ной  альтернативы  $ е 5Я. 

Относительно  множеств  5Н  и 8К  возможных  значений 
параметра  з могут  вводиться  различные  предположения 
Например,  сложная  гипотеза  может  быть  односторонней 
вида  5 > ѵ Множества  (интервалы)  5Н  и 5*  могут  не  пере- 
секаться, а могут  иметь  и общие  элементы.  ж 

1Л.2.  Байесовское  решение.  Рассмотрим  байесовское 
решение  для  общего  случая  проверки  сложной  гипотезы 
против  сложной  альтернативы.  Пусть  а и р = 1 — а _ 
априорные  вероятности  того,  что  неизвестный  параметр  8 
принадлежит  непересекающимся  множествам  5,.  и 5г 
соответственно,  и пусть  (з)  и ш1А  (з)  - плотности 
вероятности  этого  параметра  на  указанных  множествах 

с™тьаПвРНв°иде0е  раСпределение  параметра  з можно  пред- 

(5)  г (5)  + рюІК  (з).  (1  . 105) 
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Так  как  множества  5Н  и 5К  могут  быть  дискретными,  непре- 
рывными или  смешанными,  то  соответственно  ы)ІП  (з) 
и доік  (х)  будут  представляться  суммами  дельта-функций, 
непрерывными  функциями  или  плотностями  смешанного 
типа  (см.  первую  книгу  стр.  49).  Например,  если  прове- 
ряется простая  гипотеза,  что  5 = 50,  против  сложной  альтер- 
нативы, то  в (1.105)  в первом  слагаемом  ш1Н  (я)  = б (з  — 
— 50).  (Заметим,  что  точка  5 = з0  может  в этом  случае  при- 
надлежать множеству  К,  если  только  плотность  вероят- 
ности Щк  (з)  в этой  точке  непрерывная.) 

Так  же  как  и в § 1.1.2,  два  возможных  решения  у0  и уд 
связаны  с принятием  или  отклонением  гипотезы  Н,  и поэто- 
му сохраняется  платежная  матрица  (1.15).  Однако  в отли- 
чие от  § 1.2.2  условные  риски  [см.  (1.17)  и (1.17')]  ста- 


новятся 

функциями  неизвестного 

параметра  з: 

г о (з)  = П00  [ 1 — а(з)]  + 

Пща  (з), 

(1.106) 

где 

Гі  (з)  = ПюР  (з)  Пи  [ 1 

-Р(5)1, 

(1.106') 

а (з)  = ^ 

. . . § 1 Ѵ„{хи  . . .,  Хп  I з) (ІХі  . 

Сі 

. . СІХт  5 ^ 5^, 

(1.107) 

Р(*)=  5 

..  Лѵрп  (хи  Хп  | 5)  СІХі  . 

. . (ІХп.  5 5Л'. 

(1.107') 

Средняя  функция  риска  записывается  теперь  в виде 
[см.  (1.16)] 

К = ^ § Г о (5)  ЩН  (з)  <І8-{ - Р ^ Гі  (5)  Ы>1  к ( 5 ) йз  = 

8 Я 8 к 

= Ч {Поо[і  — § Щн  (з)  а (5)  Ж>]  + П01  § (з)  а (з)  Ж?}  + 


5 я 


Зя 


р { П10  § Щк  (в)  Р (5)  (І8  + Пи  [ 1 - § Щ к (я)  р (5)  г/з]  | = 
8К  8К 

==  <?П00  + рП10  + ^ (П0і  — П00)  § шш(з)а(з)(І8- 

8Я 

- р (П10  — Пи)  [ 1 — ^ И>ік  (5)  р (8)  гіз]  . 
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Подставляя  вместо  аир  их  выражения  из  (1.107) 
и (1.107'),  получим 

К = <?П00  -}-  /;1І10  — ^ . . . ^ | р (П10  — Пи)  X 

Оі 

X § Щк{5)№п(Х1,  . . .Ѵп|5)йІ5  — <?(П01  — п00)х 

8к 

> § Щи  (5)  х (хи  . . . , хп  | 5)  сіз]  йхі  . . . ( іхп ■ (1.108) 

8н 


Из  (1.108)  те  же  соображения,  которые  были  указаны 
в § 1.2.3,  приводят  к следующему  оптимальному  правилу, 
основанному  на  минимизации  среднего  риска:  принимается 
решение  у,  (отвергается  гипотеза  Я),  если  для  наблюдаемой 
выборки 


Р $ Щк  (*)  I У’п  (*і>  • ■ хп  1 5)  аз 

Нс ^ Прі  — Про 

Р $ Щ а (*)  (*і хп\з)сІ5^  П10— Пи 

8 я 


(1.109) 


и принимается  решение  уо  (утверждается  истинность  гипо- 
тезы Я),  если  выполняется  неравенство,  противоположное 
(1.109). 

Правило  (1.20)  является  частным  случаем  (1.109)  при 
Щн  (8)  =■  § (З  — 5„) , ШІК  (з)  = 6(5  — 5!). 

При  проверке  простой  гипотезы  против  сложной  альтерна- 
тивы следует  пользоваться  частным  случаем  (1.109)  при 
Щн  (5)  = 6 ( 5 — 50) , т.  е.  в знаменателе  вместо  интеграла 
следует  подставить  функцию  правдоподобия  \Ѵп  (хи  . . . 
■ ■ хп  | 50).  Условные  вероятности  а (з)  и р (з)  ошибок 
первого  и второго  рода  для  байесовского  правила  (1.109) 
определяются  по  формулам  (1-25)  и (1.26),  в которых  теперь 
Яю  и Яи  — интегральные  функции  распределения  отноше- 
ния усредненных  функций  правдоподобия 


Л (хи  . . . , хп) 


I Щк  С5)  (хі,  ....  хп\з)  аз 
8_п 

$ щн  (8)  і {хі,  ■ ■ . , хп  | а)  аз 


(1.110) 


вычисленные  в предположении,  что  параметр  5 распреде- 
ления выборки  (хи  . . .,  хп)  принадлежит  множеству  5Н 
и .8  к соответственно. 
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Если  гипотеза  Н — простая,  то 

а>ш(з)  =-  6(5  — 50) 


и 


) = ^ ЩК  (5)  / (.Ѵі,  . . . , хп  \з)<1$,  (1.1  10') 


т.  е.  равна  усредненному  отношению  правдоподобия  по  слу- 
чайному параметру. 

Полные  условные  вероятности  ошибок  первого  и второго 
рода  (взвешенные  с плотностью  вероятности  появления 
отдельного  значения  параметра  5)  равны 


а = \ щн  (з)  а (з)  <із. 


(1.111) 


Р § Щ К (з)  р (5)  СІ5. 


(1-111') 


Если  области  8Н  и 8К  перекрываются,  то  уже  невозмож- 
но достоверно  установить,  относится  ли  данное  значение 
параметра  к области  проверяемой  гипотезы  или  к области 
альтернативы.  В связи  с этим  понятие  платы  за  правильное 
или  ложнее  решение  теряет  смысл,  так  как  решение  может 
быть  и правильным,  и ложным,  если  5 принадлежит  пере- 
сечению областей  Зн  и 5К.  Функция  потерь,  сопоставляю- 
щая каждой  комбинации  5 6 5н,  5 6 5 к и решений  у0,  у, 
плату  П,й,  теперь  зависит  от  апостериорных  вероятностей 
того,  что  5 6 8Н  или  5 6 5 а-,  если  значение  параметра 
равно  5 (при  непересекающихся  областях  эти  вероятности 
равны  единице  и нулю).  Одним  из  возможных  подходов 
при  этом  будет  следующий.  Пусть  П00  = Пи  = 0 и пред- 
положим, что  плата  за  ошибочное  решение  пропорциональна 
апостериорной  вероятности  того,  что  данное  5 принадлежит 
истинной  области,  т.  е. 


Пю  (я)  — ПюЯ  {з  Е | з}  - П (8К,  ус),  (1.112) 

Поі  (з)  - ПоіЯ  {з  ^ 8Н 1 5}  П (5Я,  уі),  (1.112') 


где 


Р {з  6 $к  I 5}  — 


Р В € Р В|  5 6 


р {*  е 5К}  р В I « 6 5К}  + В {*  е р {*  I 5 і 5н\ 


рѵ ік  (*) 


(1.113) 


М + РіН  В)  ’ 
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Р {5  6 5н  | 5}  = 


Р {а  { 8Н\  Р {а  | 


Р € ЗД  Р {*  | в 6 Зк}  + Р {5  6 5Н}  Р {*  I * € *$Я1 
дщн  («) 


,г.  (1.113') 

р^ікМ+тнй  ѵ ' 

Если  области  5Я  и 8К  не  перекрываются,  то 
Р{5б5к|5}  1,  Р {з  ^ 8 ц | 5}  = 1 И П10  (5)  = П10,  П01(з)  = 

— Поі,  т.  е.  приходим  к предыдущему  случаю. 

Выражение  для  условных  рисков  теперь  преобразуют- 
ся к виду 

г о (з)  П01  (5)  а (5), 

МФ  ГІЮ  (5)  Р (5), 
а средний  риск  находится  по  формуле 

Р 9 ^ П01  (з)  а (з)  щн  (з)  йз  + р ^ П10  (з)  р (з)  щк  (з)  сіз. 

8 я 8 К 

1.4.3.  Максимум  апостериорной  вероятности  и макси- 
мальное правдоподобие.  Апостериорные  вероятности  того, 
что  неизвестный  параметр  з принадлежит  5Я  или  8К, 
когда  наблюдается  выборка  (х, , . . .,  хп),  могут  быть 
записаны  в виде 

Р{з^8н\хи  . . .,  х„} 

Я I Щн  (*)  Ѵ’п  (хі,  . . . , хп  | і)  <І5 



Я X “'ІЯ  («)  "А  (.ѵд,  . . . , хп  I а)  сі 5 \-р  | щк  (5)  (дд,  . . . , х„  | 5)  гіз  ’ 


Г*  {5  6 8 к \Хи  • ■ • , X,,  } 

Р I “>ік  (8)  (х4,  хп\  5)  а$ 


(1.114) 


Я | шіЯ  (8)  1^74  (*і,  ....  Хп  I в)  + р щк  («)  (лг1?  . . . , Хп  1 5)  СІЗ 

8 II  8 К 

(1.114') 

Из  того  условия,  что  для  отклонения  гипотезы  Н первая 
из  приведенных  вероятностей  должна  быть  не  больше  вто- 
рой, находим  правило  выбора  решения 


Р X ЩК  (8)  ^ті  (*!,... , хга  | 5)  Лі 


Я X “<1Я  («)  ѴРп  (X),  . . . , хп  | 5)  СІ5 

8 Г, 


> 1, 


(1.115) 
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которое  является  частным  случаем  байесовского  правила 
(1.109),  когда  Поі  — П00  = П10  — Пи. 

Критерий  максимального  правдоподобия  не  основывает- 
ся в рассматриваемом  случае  на  строгих  соображениях  опти- 
мальности. Одно  из  возможных  правил,  соответствующих 
интуитивному  представлению  о максимальном  правдоподо- 
бии, может  быть  представлено  в виде:  принимается  решение 
Ѵі  (отвергается  Я),  если  для  наблюдаемой  выборки  выпол- 
няется неравенство 

шах  (лд,  I ®) 

V/ (1.116) 

шах  \Ѵп  {хі,  . . .,  хп  | 5)  ѵ ' 

®-8Я 

и принимается  решение  у0>  если  выполняется  неравенство, 
противоположное  (1.116).  Заметим,  что  теперь  уже  правило 
максимального  правдоподобия  не  является  частным  случаем 
байесовского,  как  это  было  при  проверке  простой  гипотезы 
против  простой  альтернативы. 

1.4.4.  Критерий  Неймана  — Пирсона.  Переходим  теперь 
к критерию  Неймана  — Пирсона.  Как  было  установлено 
в § 1.2.4,  при  проверке  простой  гипотезы  против  простой 
альтернативы  всегда  существует  правило  разбиения  про- 
странства выборок  на  критическую  и допустимую  области, 
которое  минимизирует  вероятность  ошибки  второго  рода 
(имеет  максимальную  мощность)  среди  всех  других  правил, 
для  которых  вероятность  ошибки  первого  рода  (уровень 
значимости)  не  превосходит  заданной  величины  а.  Когда 
гипотеза  Я простая,  а альтернатива  К сложная,  то  р = р (з) 
и можно  попытаться  найти  такое  правило  выбора  решения 
(т.  е.  разбиение  пространства  выборок  на  две  области 
О0  и О)),  которое  для  заданной  вероятности  а ошибок  пер- 
вого рода  минимизирует  вероятность  ошибки  второго  рода 
Р («)  [или  максимизирует  мощность  1 — (3  (я)  ] для  всех 
простых  альтернатив,  содержащихся  в сложной  альтерна- 
тиве К ■ Такое  правило  называют  равномерно  наиболее  мощ- 
ным. Если  существует  равномерно  наиболее  мощное  пра- 
вило выбора  решения  при  проверке  простой  гипотезы  про- 
тив сложной  альтернативы,  то  оно  по  существу  не  отличает- 
ся от  такого  же  правила,  соответствующего  простой  аль- 
тернативе, так  как  при  этом  неоднозначность,  возникающая 
из-за  того,  что  5 к представляет  множество  значений  пара- 
метра 5,  не  имеет  значения  (так  как  критическая  область 
не  зависит  от  з^_8к). 
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Существование  равномерно  наиболее  мощного  правила 
выбора  решения  является  скорее  исключением,  нежели 
правилом.  Если  такое  правило  при  решении  конкретной 
задачи  отсутствует,  то  можно  попытаться  сузить  класс 
правил  и искать  в этом  меньшем  классе  правил  равномерно 
наиболее  мощное.  К одному  из  таких  суженных  классов 
принадлежат  так  называемые  несмещенные  правила.  Эти 
правила  должны  удовлетворять  следующему  условию: 
вероятность  отвергнуть  ложную  гипотезу  не  меньше  вероят- 
ности отвергнуть  правильную  *).  Иначе  говоря,  вероятность 
а ошибки  первого  рода  является  нижней  границей  значений 
функции  мощности  I — р (з)  для  всех  значений  5,  т.  е. 

1 — Р(з)>а.  (1.117) 

Если  р (я)  — непрерывная  функция,  то  минимальное 
значение  1 — р (з)  достигается  при  з = з0  и в точности 
равно  а,  так  как 

1 - Г»  («о)  Р {(-И,  • • ■ , Хп)  е 0 , 1 з0}  - а.  (1.118) 

Равномерно  наиболее  мощное  правило,  если  оно  суще- 
ствует, всегда  является  несмещенным.  Если  же  такого  пра- 
вила не  существует,  то  все  же  может  быть  найдено  несмещен- 
ное равномерно  наиболее  мощное  правило. 

На  рис.  7 показаны  кривые  мощностей,  иллюстрирующие 
понятие  равномерно  наиболее  мощного  правила,  несмещен- 
ного равномерно  наиболее  мощного  правила  и смещенного 
правила  выбора  решения  при  проверке  простой  гипотезы 
против  сложной  альтернативы. 

Заметим,  что  оптимальное  по  критерию  Неймана  — 
Пирсона  правило  выбора  решения  при  проверке  простой 
гипотезы  против  сложной  альтернативы  не  является,  вооб- 
ще говоря,  частным  случаем  байесовского  правила,  как  это 
имело  место  при  простой  альтернативе  (см.  стр.  36). 

Приведенные  выше  понятия  обобщаются  и тогда,  когда 
проверяемая  гипотеза  II  сложная.  В этом  случае  вероятность 
ошибки  первого  рода  (уровень  значимости)  также  зависит 
от  параметра  з,  принадлежащего  некоторому  множеству  5Н. 
Однако  иногда  можно  указать  совокупность  правил  выбора 
решения  (совокупность  критических  областей),  которой 
соответствует  постоянный  для  всех  з 6 5Н  уровень  значи- 


*)  Заметим,  что  в примере,  рассмотренном  в § 1.1.2,  условие 
(1.5)  — простейшее  условие  несмещенности. 
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мости  а.  Теперь  задача  состоит  в том,  чтобы  из  этой  сово- 
купности правил  отыскать  такое,  которое  является  равно- 
мерно наиболее  мощным  для  всех  значений  5 ^ 5К.  Конечно, 
как  и в рассматриваемой  выше  более  простой  ситуации, 
решение  указанной  задачи  может  и не  существовать.  Тогда 
следует  попытаться  найти  его  в более  узком  классе  правил, 


Рис.  7.  Функции  мощности: 


равномерно  наиболее  мощное  правило,  — — — несме- 
щенное равномерно  наиболее  мощное  правило, смещен- 

ное правило. 


вводя  дополнительные  предположения.  Одним  из  таких 
предположений  является  несмещенность,  т.  е.  условие,  что 

Р {(ад,  . . . , хп)  Е Оі  1 5 е 8Н}  < Р {(*!,  . . . , Ад)  е Оі  1 5 е 5К}. 

(1.119) 

1.4.5.  Минимаксное  правило.  Если  плотности  ѵѵіН(5) 
и хюІК  (5)  известны,  а априорные  вероятности  7 и р = 1 — <7 
неизвестны,  то  можно  усреднить  условные  функции  риска 

г0-  ^ г0(5)%(#,  (1.120) 

Гі  («)  щк  (5)  СІ8  (1.120') 

и находить  минимаксное  правило,  приравнивая  величины 

усредненных  средних  рисков,  аналогично  тому,  как  это 
делалось  в § 1.2.6  для  нахождения  минимаксного  правила 
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при  проверке  простой  гипотезы  против  простой  альтерна- 
тивы. 

В том  случае,  когда  известно  ц,  но  неизвестны  ы)ш  (з) 
и ы'ік  (х),  решение  задачи  об  определении  минимаксного 
правила  может  и не  быть  однозначным,  а если  и априорная 
вероятность  д неизвестна,  необходимо  выдвижение  допол- 
нительных критериев  качества. 

1.4.6.  Последовательный  анализ.  К сожалению,  для 
последовательного  анализа  нет  ситуации,  аналогичной  той, 


Рис.  8.  Функция  мощности. 

которая  имела  место  при  использовании  критерия  Нейма- 
на — Пирсона,  когда  одно  и то  же  правило  могло  быть 
наилучшим  для  любого  значения  параметра  5,  принадлежа- 
щего области  альтернативы.  Последовательное  правило, 
минимизирующее  средние  размеры  выборки  для  одного  зна- 
чения 5,  не  является  оптимальным  в этом  смысле  при  другом 
значении  параметра. 

Одна  из  возможных  постановок  задач  в этом  случае 
заключается  в следующем.  Проверяется  односторонняя 

сложная  гипотеза  Н о том,  что  5<50,  против  сложной  аль- 
тернативы 5 > 50-  Выдвигается  требование  к качеству  пра- 
вила выбора  решения,  состоящее  в том,  чтобы 

1 — Р(х)  а,  5<50,  (1.121) 

1— Р(з)>1— р,  5>54,  5і>50.  (1.121') 

Условия  (1.121),  (1.12 Г)  выполняются,  если 

1—  РЫ  а,  Р(54)=  Р (1.122) 

и вероятность  р (5)  ошибки  второго  рода  — невозрастаю- 
щая функция  параметра  5 (рис.  8).  Из  оптимального  свой- 
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ства  последовательного  анализа  очевидно,  что  среди  всех 
правил,  удовлетворяющих  условиям  (1.121)  и (1 . 121'), 
последовательное  правило  выбора  решения,  состоящее 
в сравнении  отношения  правдоподобия  с порогами 


минимизирует  средние  размеры  выборки  при  з = 50  и 5 = з4. 
Обычно  функция  Ші  {п  | з}  имеет  максимум  между  з0  и 5і 
и убывает,  когда  з удаляется  от  точки  максимума  в любом 
направлении.  Может  оказаться,  что  этот  максимум  меньше 
наименьшего  фиксированного  размера  выборки,  при  кото- 
ром существует  (непоследовательное)  правило,  удовлетво- 
ряющее условиям  (1.121)  и (1.121').  Однако  это  бывает  не 
всегда,  как  указывает  пример,  приведенный  в [7]. 

Точное  определение  функции  мощности  1 — р (з)  и сред- 
него размера  выборки  т4  {п  | з}  для  последовательного 
анализа  представляет  трудную  задачу.  Если  трансцендент- 
ное уравнение 


пц 


{[ 


(х  [ 3,) 

“4  (Л- 1 х0) 


1 


(1.123) 


имеет  решение  к 


и 


Л(з) 

1-Р(з) 


то  с некоторым  приближением 

1 ~с!!<8) 

(1.124) 


с 1 


д>(») 


ГПі  {п  | з) 


[I— р (в)]  1пс,+Р(з 

ІП  ГП 

тл  (іп 

д 

1 % (X  1 50) 

і 

(1.125) 


в предположении,  что  знаменатель  в (1.125)  отличен  от  нуля 
Если  последнее  условие  не  выполняется,  то  вместо  (1.125) 
следует  использовать  другое  соотношение,  указанное 
в 12,  стр.  2231,  в котором  вместо  среднего  в знаменателе 
появляется  дисперсия  логарифма  одномерного  отношения 
правдоподобия: 


т і {п  | з} 


т 2 


— 1п  Ср  ІП  Су 
Г 1п  ЮІ  I 

1 Щ {X  | «о) 


(1.126) 


^Проверка  сложных  гипотез  о среднем  нормальной 
случайной  величины.  Проиллюстрируем  изложенные  в этом 
разделе  подходы  на  примерах  проверки  гипотез  о параметрах 
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нормального  распределения.  Начнем  с проверки  простой 
гипотезы  Я о том,  что  среднее  значение  нормальной  слу- 
чайной величины  равно  а0,  против  сложной  альтернативы  К, 
состоящей  в том,  что  среднее  — любое  действительное 
число,  не  равное  а0.  Предполагается,  что  дисперсия  о2  нор- 
мальной случайной  величины  известна  точно  и что  выборка, 
на  основании  которой  проверяется  гипотеза,  состоит  из 
независимых  элементов. 

Для  получения  байесовского  правила  решения  необхо- 
димо задать  величины  с*,  и = дір , а также  априорное 
распределение  среднего,  когда  справедлива  альтернатива  К- 
Пусть  это  распределение  также  нормальное  с параметрами 
(оі,  о2).  Тогда  из  (1.110)  при  ѵѵт  (з)  = б (з  — а0 ) получаем 
следующее  выражение  функции  Л (ад,  . . .,  хп ): 

П 

Л (ад,  . . . , хп)  - ехр  [і  2 (хк  - йо)2]  — X 

й=1  1 


X \ е 2°і  е ,і=1  сіз 

— оо 


X 


X ехр 


2 (а4  — а0)  х'  п(а\— а§)  , 

а2  —‘  і а2  1 

І=  1 


т 


(2^): 


Й=1 


откуда  следует  байесовское  правило  выбора  решения: 
отвергается  простая  гипотеза  Я о том,  что  среднее  значение 
равно  а0,  если  при  ах  > а0 


(Я  ^І2 

п 

1 О ) 

( 1 ѵ хк  — Оі  \ 

па\\  ах  — а0 

\п  ^ а / 

а2  ) а2 

Ь=і 

^ + М^І"НІ+^)]  (|л27) 


где  с = пс* . При  с = [х  получаем  правило  выбора  решения, 
соответствующее  максимуму  апостериорной  вероятности. 
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Рассмотрим  теперь  критерий  Неймана  — Пирсона.  Как 
было  показано  в §1.3.1,  оптимальное  по  этому  критерию 
правило  выбора  решения  при  проверке  простой  гипотезы 
о величине  среднего  против  простой  альтернативы,  опре- 
деляемое порогом  (1.76),  не  зависит  от  альтернативы 
(при  условии  5 > а0  или  5 < а0 ).  Поэтому  правило,  согласно 
которому  отвергается  гипотеза  Н,  если 

П 

4-2  Хк>а0  + -^ха,  (1.128) 

/і=і  * п 

является  равномерно  наиболее  мощным  относительно  слож- 
ной альтернативы,  для  которой  5 > а0.  Если  5 < а0,  рав- 
номерно наиболее  мощное  правило  при  сложной  альтер- 
нативе определяет  критическую  область  в виде  нера- 
венства 

П 

хк<а0— ^=ха.  (1.129) 

м Уп 

Однако  если  в качестве  сложной  альтернативы  рассматри- 
вать все  действительные  значения,  то  равномерно  наиболее 
мощного  правила  не  существует.  Функция  мощности  для 
правила  (1.128)  согласно  (1.77)  имеет  вид*) 

1-=Р(з)=1-Е  (лгв--^./л)  . (1.130) 

При  5 > а0,  1 — р (з)  > а,  функция  мощности  монотонно 
возрастает  при  увеличении  з и 1 — р (а0)  = а.  Но  если 
з < а0,  то  1 — р (з)  < а,  причем  функция  мощности  убы- 
вает при  уменьшении  з.  Таким  образом,  правило  (1.128) 
смещенное. 

Можно  показать  [6],  что  несмещенное  равномерно 
наиболее  мощное  правило  определяется  в этом  случае 
критической  областью 

П 

1 XI 

й=  1 


*)  Заметим, 
от  (1.77). 
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> 


у п 


(і.ізі: 


что  при  5 = а\  формула  (1.130)  не  отличается 


Функция  мощности,  соответствующая  правилу  (1.131), 
показана  на  рис.  9 (пунктирная  линия)  и имеет  вид 


і-РОО 

1 - [г  -^Ѵп)  -г(- ] • 

(1.132) 

Функция  (1.132)  достигает  минимума  при  5 = а0  и 

1 — р (Оо)  2-2Р(Ха)  -а. 

2 


Рис.  9.  Функции  мощности  при  проверке  гипотезы 
о среднем: 

смещенное  правило,  — — — несмещенное  равномерно 

наиболее  мощное  правило. 


При  всех  5>а0  функция  (1.130)  превышает  (1.132),  так 
как  для  произвольного  с > 0 

Р (*а  — с)  — Р (Ха  — с)  > Р ( — *а  — с). 

2 2 

При  5 = а0  обе  функции  совпадают,  но  при  5 < а0  мощность 
правила  (1.128)  меньше  мощности  правила  (1.131). 

Рассмотрим,  наконец,  последовательное  правило  про- 
верки односторонней  гипотезы  о том,  что  среднее  значение 
нормальной  случайной  величины  5<а0,  против  сложной 
альтернативы  5 > а0-  В соответствии  с § 1.4.6  выдвигаем 
дополнительное  условие  [см.  (1.121)  и (1.121')]:  при  задан- 
ных аир 


1—  Р($)<а,  5<50, 

1—  Р(з)>1—  Р,  5>5(>50. 
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Для  определения  функции  мощности  1 — р (5)  необходимо 
решить  трансцендентное  уравнение  (1.123).  Левая  часть 
этого  уравнения  для  рассматриваемого  примера  равна 

Щ {ехр  [з^гКа'  — 50)1 2  — = 

оо 

= ^ ехр  ( ,1)  х 

а Т/ 2.П  <0  V 2<т2  / 

— ОО 

х ехр  { - ~ [(.V-  - 5)2 *  + 2 (,50  — .9,)  Их]  | сіх 


— ехр 


Г 50~51 

ХР{~2^ 


к 


^-[5  — (50  — 8і)Л]*| 


2а2  2а2 

Теперь  в соответствии  с (1.123)  необходимо  это  выраже- 
ние приравнять  единице,  что  равносильно  приравниванию 
нулю  показателя  экспоненты,  т.  е. 

(5?  — 3\)Н  — 52  + [5—  (50  — 8і)Н]2  О, 

откуда  находим 

к (л)  Л''  ' ѵ''  2<  1_  2(5-5о)  . (1.133) 

Теперь  по  формуле  (1.124)  находим 

8-80 


1-Ж 


1-2 

1—  сп  51“8° 


1-2  • 


1-2  — 8-°  - 
■ Сп  61 


(1.134) 


где  с0 


с 1 = 


-Р 


1 — а ’ * а 

Из  (1.133)  и (1.134)  следует,  что 

1 — с0 


к (50)  = 1 , 1 — Р (50)  = 


с\  — с0 


-а, 


(1.135) 


/'  (м)  -1,  1-  р(«іД  -г 


1 с0 


1-р.  (1.135') 


_1 1_ 

С]  с0 

Кроме  того,  функция  1 — р (5)  — монотонно  возрастающая 

(рис.  10)  от  нуля  (при  5—9 > — оо)  до  единицы  (при  5— »оо). 

При  5 = Х 


1 - 


1пс0 


1 п 


1п 


Ср 

Сі 


1п 


(1  — а)  (1  — Р)  (1-136) 


оф 
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Для  определения  зависимости  от  величины  5 среднего 
размера  выборки,  необходимого  для  принятия  решения, 
найдем  в соответствии  с (1.125) 


т і 


{*■ 


МП  П I Д 


(т  I »о)  I ‘ 1 


пц 


( 5?,  — 5? 
( 2а2 


— яо 
а2 


и,  следовательно, 

пі\  {п  | 5} 


[1  — Р (5)1  ІП  Сі  I р (5)  1п  с0 
I „ 5і  Мо  ^ 

I 2 ) 


(1.137) 


Рис.  10.  Последовательное  правило  при  проверке  гипо- 
тезы о среднем: 

функция  мощности: средний  объем  выборки,  не- 
обходимый для  принятия  решения. 


Из  (1.137)  видно,  что  при  5 — ± 00  величина  Ші  {п  | 5}  — »- 
— >0,  а в заданных  точках  5 = 50И5  = «і  [см.  (1.135),  (1.135')] 


Ш\  { п 1 50) 


т і {п  |«і} 


« 1п  с{  4-  (1  —а)  1п  с() 

(^і  — ^о)2 

2ст2 

(1  — Р)  1п  6-,  + Р 1 п с0 
И — 5о)3 

2а2 


(1.138) 

(1.139) 


Эти  формулы  по  существу  не  отличаются  от  (1 .82)  и (1 .83). 


При 


и в этой  точке  для  расчета  т4 


знаменатель  (1.137)  обращается  в нуль, 
| п 5°  2 '^  | необходимо 
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предварительно  вычислить  второй  момент  логарифма  отно- 
шения правдоподобия: 


т2  { 1 п / (х)  1 5}  = ,щ  { (-^М:  (х  - 5)2 1 5}  = . 

Подставляя  (1.140)  в (1.126),  получаем 

гщ  (п  Ііфі].  = __.|псо1псф  . 

I I 2 | / 51  — ар  \ 2 


(1.140) 

(1.141) 


Пунктирная  кривая  на  рис.  10  иллюстрирует  характер 
зависимости  среднего  размера  выборки  от  я (она  построена 
для  а = р 0,1;  см.  также  табл.  2 на  стр.  55).  Как  видно 
из  этого  рисунка,  функция  т{  {п  | 5}  имеет  максимум 

при  5 2 ~ 1 , который  приблизительно  на  40" и превышает 

значение  минимального  среднего  размера  выборки,  необ- 
ходимого для  принятия  решения  согласно  оптимальному 
последовательному  правилу  при  проверке  простой  гипотезы 
5 = 5о  против  Простой  ЭЛЬТерНЭТИВЫ  5 = 5і-  Однако  этот 
максимум  все  же  меньше  размера  выборок  при  использова- 
нии непоследовательного  правила  с теми  же  значенияим 
условных  вероятностей  ошибок  (этот  размер  выборки 
отмечен  крестиком  на  рис.  10). 

1.4.8.  Замечание  относительно  многоальтернативных 
задач  выбора  решения.  Ограничимся  только  байесовским 
критерием  качества  *).  Как  указывалось  в § 1.1,  в том  слу- 
чае, когда  выдвигается  т + 1 простых  гипотез  Я,  (/  = 
= 0,  1,  . . .,  т),  то  для  выбора  решения  относительно 
того,  которая  из  них  истинная,  можно  использовать  крите- 
рий минимума  среднего  риска  1см.  (1.8)].  Правило  выбора 
решения  состоит  в указании  способа  разбиения  простран- 
ства выборок  на  т -|-  1 непересекающихся  областей  и при- 
писывания (для  нерандомизированного  правила)  каждой 
из  областей  Ск  одного  из  решений  ук  (верна  гипоте- 
за Нк)  о том,  что  имеет  место  состояние  5*  исследуемого 
явления). 

Вероятность  того,  что  по  наблюдаемой  выборке  хл,  . . . 
• • • , хп  будет  принято  решение  ук,  когда  в действитель- 


*)  Исследование  многоальтернативных  задач  начато  в послед- 
ние годы.  Некоторые  важные  примеры  многоальтернативных  про- 
цедур по  критерию  Неймана  — Пирсона  содержатся  в [7].  О по- 
следовательном анализе  в многоальтернативных  задачах  см.  [11]. 
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ности  верна  гипотеза  Н^,  будет  равна 

Р{Ун\Ні}^Р{(хі,...,хп)ЬОь\8і}  = 

= § ■ • • § №п  (лу , . . . , Х„  | 5,)  (ІХІ  . . . СІХп.  (1 . 142) 

ск 

Подставляя  (1.142)  в (1.8),  получим  выражение  для  сред- 
него риска 

т т 

К У У]  Рі^Лг  ^ ^ (Хі,  . . ■ , хп  | 5^)  йХі  . . . СІХп, 

3=0 к=о  ак 

(1.143) 

которое  зависит  от  способа  разбиения  пространства  выборок 
на  области  Ск,  к =■  0,  1,  . . т. 

Рассуждая  аналогично,  как  и при  выводе  неравенства 
(1.20),  можно  доказать,  что  минимальное  значение  среднего 
риска  Я реализует  разбиение  пространства  выборок  О, 
при  котором  область  Ск  (к  — 1,  . . . , т)  определяется 
системой  т неравенств: 


2(іі^-ПіО 

І-.0 


Рі'Х'п  (Х\,  ■■■,  Хп  I «.) 
Ро^п  (х1;  . ..,  *л|80) 


(1.144) 


/ 0 ,...,т;іфк 

Область  О0  при  этом  определяется  из  очевидного  условия 


т 

О0-  О—  У Си- 

к=[ 


(1.144') 


При  т = 1 система  (1.144)  содержит  одно  неравенство, 
совпадающее  с (1.20). 

Вводя  новые  переменные 


г I / / 


. . хп ) 


И ....  хп  1 5/) 

Ро  п Иі»  ■ ■ ■ ’ Хц  1 5д) 

і --  1,  . . т,  (1. 145) 


т.  е.  отображая  точки  пространства  выборок  на  т-мерную 
область  отношений  правдоподобия,  можно  систему  нера- 
венств записать  в виде 


і (П,-, — П;й)  Уі  ^ По/г  По,,  / — 0,  ...,  т\  / ф к. 

(1.146) 
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Область,  задаваемая  системой  неравенств  (1.146),  определя- 
ется пересечением  гиперплоскостей  в т-мерном  простран- 
стве. 

Проиллюстрируем  сказанное  выше  на  простейшем  приме- 
ре многоальтернативной  задачи,  когда  априори  известно, 


что  возможны  три  состояния:  50,  5Ь  52.  В соответствии 
с (1.146)  при  т = 2 байесовское  правило  решения  форму- 
лируется так:  . 

1)  принимается  решение  уі  о том,  что  имеет  место  состоя- 
ние $!,  если 

(П10  — Пи)  уі  + (П2о  П2і)  у 2 > П01  П0о,  ( 1 . 147) 
(П12  — Пи)  Уі  + (П22  — п21)  у2>и0і  П02',  (1.147  ) 

2)  принимается  решение  у2  о том,  что  имеет  место  состоя- 
ние 52)  если 

(Пю  — П12)  уі  ф-  (1І20  П22)  уг  П02  Поо,  (1-1 48) 

(Па  — П12)  уі  -ф  (П21 — П22)г/2>1102 — П01;  (1.148  ) 

3)  принимается  решение  у0  0 том,  что  имеет  место 
состояние  50,  если 

(П10  — - Пн)  Уі  + (П20  — П21)  у 2 <7  П01-  П0о,  (1.149) 
(Пю  — П12)  уі  (П20  — П22)(/2<П02  — П0о).  (1-149  ) 
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Здесь  два  отношения  правдоподобия 


У і = 


Рі  \Ѵп  (х\,  •••.*»!  ді) 

Ро  У?п  (Хі хп  I «о) 

р2  И7„  (.г'і,  . . , , хп  | я2) 
Ро  (*і.  • • ■ > хп  | 50) 

/;о  г 1—  Ру  — Рг, 


представляют  функциональное  преобразование  «-мерного 
случайного  вектора  с компонентами  (хь  хп)  в плоский 
случайный  вектор  с неотрицательными  компонентами 
(у і,  Уг)-  В зависимости  от  того,  в какую  из  трех  непересе- 
кающихся  областей  первой  четверти  плоскости,  определяе- 
мых приведенными  системами  двух  неравенств,  попадает 
указанный  вектор,  принимается  одно  из  трех  возможных 
решений. 

На  рис.  1 1 показаны  области  принятия  трех  решений 
для  частного  случая,  когда  платы  за  правильные  решения 
равны  нулю,  а платы  за  ошибочные  решения  равны  между 
собой . 


1.5.  БОЛЕЕ  ОБЩИЕ  СЛУЧАИ  ВЫБОРА 
ОДНОГО  ИЗ  ДВУХ  РЕШЕНИЙ 


1.5.1.  Случай  нескольких  неизвестных  параметров.  До  сих 

пор  рассматривались  правила,  связанные  с проверкой  слож- 
ной гипотезы  о параметре  распределения  против  сложной 
альтернативы  относительно  этого  параметра.  Результаты 
могут  быть  обобщены  на  случай,  когда  распределение 
зависит  от  многих  параметров. 

Пусть  распределение  случайной  величины  зависит  от  М 
параметров  5Ь  . . .,  зм.  Проверяется  сложная  гипотеза 
Я о том,  что  указанная  совокупность  параметров  принад- 
лежит области  8Н  УИ-мерного  пространства,  против  сложной 
альтернативы  К,  что  эта  совокупность  принадлежит 
области  8 к- 

Если  известны  априорные  вероятности  д и р = 1 — ц 
принадлежности  совокупности  5Ь  . . .,  зм  непересекаю- 
щимся  областям  8Н  и 8К,  а также  совместные  функции 
распределения  шмн  (5Ь  . . .,  зм)  и ѵѵмк  (зі,  . . .,  зм)  этой 
совокупности  на  множествах  5Н  и 8К  соответственно  и если 
задана  функция  потерь,  то  байесовским  правилом,  обоб- 
щающим (1.109),  является  в этом  случае  следующее:  при- 

6*  83 


Нимается  решение  у4  (отвергается  гипотеза  Я),  если  для 
наблюдаемой  выборки 

Л (Лі,  . . . , Л "п)  = 

(•.._(  ™МК  (5,,  . . . , 3М)  {х,,  Хп\з„  8М)  аз  , Й?5Д1- 

= % ‘ > 

( ...  | и>мн  (*1.  ■ ■ *м)  №7,,  (*1,  ....  | «!,  . . .,  .5 м)  аз,  . . . азм 

■ 8Я 

>ус*-  с.  (1.150) 

Полные  условные  вероятности  ошибок  первого  и вто- 
рого рода  равны 

а = § ^ Ммн  ($і,  • • ■ . 5м)  а (5,,  . . . , зм)  йз. 


Р — ^ ^ тМ11  (51,  • ■ • , 5 м)  р ($1,  • • ■ , 5м)  СІЯ, 


где 

а (54,  . . . , 5м)  г Р {А  >•  с \ (з,,  . . . , 5м)  6 >5//})  (1-1 53) 

р (5і,  . . . , 5м)  =-  я {А < с I (5і,  . . . , 5м)  е 5к).  ( 1 . 1 54) 

Если  априорная  вероятность  р неизвестна,  то  наименее 
благоприятная  величина  этой  вероятности  рмм  находится 
из  равенства  усредненных  по  областям  5Н  и условных 
функций  риска  [см.  § 1.4.5,  также  (1.106)  и (1.106')].  Под- 
ставляя рмм  и рмм  = 1 — р мм  в правую  часть  неравенства 
(1.150),  приходим  к минимаксному  правилу  выбора  решения 
для  случая  нескольких  неизвестных  параметров. 

Нахождение  оптимального  правила  по  критерию  Ней- 
мана — Пирсона  в случае  нескольких  неизвестных  пара- 
метров представляет  в общем  сложную  математическую 
задачу.  В конце  § 1.4.4  указывалось  лишь  на  возможность 
обобщения  основных  понятий  (современное  состояние  этого 
вопроса  изложено  в [7]).  Как  в случае  проверки  простой 
гипотезы  против  простой  альтернативы,  так  и в случае  про- 
верки простой  гипотезы  против  сложной  альтернативы  опти- 
мизация по  критерию  Неймана  — Пирсона  проводилась 
в классе  правил,  для  которых  вероятность  ошибки  первого 
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• • ■ (Ямі 

(1.151) 
. . . (І8М, 

(1.152) 


рода  (уровень  значимости)  не  превосходила  заданной  вели- 
чины а.  В некоторых  случаях  проверки  сложной  гипотезы 
против  сложной  альтернативы  можно  выделить  класс  пра- 
вил (т.  е.  указать  критические  области  04),  для  которых 

Р{(л-И  . . хп)ЕСі|(51,  . . 5м)б5н}  = а.  (1-155) 


Если  в классе  этих  правил  можно  найти  такое,  которое 
минимизирует  вероятность  ошибки  второго  рода  или  имеет 
максимальную  мощность 

1-р  Р{(хі,  с:  |(«1,  (1-155') 


то  это  правило  называют  равномерно  наиболее  мощным. 
Можно  сузить  класс  оптимальных  правил,  вводя  условие 
несмещенности  (1.119). 

Ограничимся  здесь  лишь  одним  примером,  когда  по  кри- 
терию Неймана  — Пирсона  необходимо  проверить  сложную 
гипотезу  о том,  что  выборка  . . .,  хп  принадлежит  нор- 
мальному распределению  со  средним  а0  и неизвестной 
дисперсией  о2,  против  сложной  альтернативы,  что  эта  выбор- 
ка принадлежит  нормальному  распределению  со  средним 
а Ф а0  и неизвестной  дисперсией.  Рассмотрим  случайную 
величину  [см.  (2.153)] 

П 


і - і (лу, 


а) 


Уп  2 (Хі ' 

у і=і 


-а)  X 


X {уузт  Ъ [**— Іг  2 (*і  ~а)]'}  1/2’  (1-156) 

к=  1 1=1 


подчиняющуюся  при  независимых  нормальных  лу  с пара- 
метрами (а,  а2)  закону  распределения  Стьюдента  8п-і  (і) 
сп  — 1 степенями  свободы  [см.  (2.154)],  который  не  зави- 
сит от  а и о2.  Таким  образом,  критические  области  С4  «-мер- 
ного пространства  выборок,  к которым  отнесены  выборки 
(х,,  . . .,  хп),  удовлетворяющие  при  а = а0  условию 
^ 2 

^ Зп-і(і)сІ(  = а,  (1.156') 

и 

соответствуют  указанным  выше  правилам  с постоянным 
уровнем  значимости.  Можно  показать,  что  при  а>  а0  среди 
всех  этих  правил  равномерно  наиболее  мощным  является 
такое,  при  котором  критической  области  соответствуют 
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значения  случайной  величины  і,  превосходящие  порог 
(а  (т.  е.  в (1.156')  іъ  = оо,  /,  = іа). 

Иначе  говоря,  отвергается  гипотеза  Н о том,  что  сред- 
нее равно  а0  при  неизвестной  дисперсии,  если 


1Ѵ(х._ао)>|_±_Ѵ  (Х'-ао)]2}1 


/2  (г. 


і=  1 


Ь=1 


і=  1 


V П 

(1.157) 


где  іа  — процентная  точка  распределения  Стьюдента.  Это 
правило  выбора  решения  — равномерно  наиболее  мощное 
относительно  сложной  альтернативы  а > а0. 

Сравнивая  правило  (1.157)  с аналогичным  правилом 
(1.128)  для  проверки  простой  гипотезы  о среднем  против 
сложной  альтернативы,  когда  дисперсия  нормального  рас- 
пределения известна,  замечаем,  что  в (1.157)  неизвестная 
дисперсия  представлена  выражением  в фигурных  скобках, 
а процентная  точка  ха  нормального  распределения  заменена 
процентной  точкой  распределения  Стьюдента  (для  задан- 
ного а). 

Прежде  чем  вычислять  вероятность  ошибки  второго 
рода  (или  мощность  1 — р)  при  использовании  правила 
(1.157),  следует  иметь  в виду,  что  случайная  величина 

( (хі хп;  а0),  если  Хі,  і = 1,  . . .,  п,  нормальны 

с параметром  а Ф а0,  имеет  нецентральное  распределение 
Стьюдента 

т (<;  б)  = х 

2 2 Г (~2~~) 

ОО  п 

X § у~*  _1  ехр  { -у  [у+  сіу,  (1.158) 

О 


где  б — параметр  нецентральности,  равный 

6 = ^9- 1 /~п.  (1.158') 


Используя  (1.158),  можно  записать  выражение  функции 
мощности  правила  (1.157)  в виде 

1—  р б)  = ^ (I;  5)  йі,  (1.159) 
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где  іа.  — процентная  точка  нецентрального  распределения 
Стьюдента. 

Если  а < а0,  то  равномерно  наиболее  мощное  правило 
проверки  сложной  гипотезы  о том,  что  среднее  равно  а0 
при  неизвестной  дисперсии,  определяет  критическую  область 
неравенством  [см.  (1.129')] 


±У(Хі-а0)< 


І=  1 


< 


п п 


(хі — °)]2} 


і/2 


Уп  ' 


(1.160) 


В том  случае,  когда  альтернатива  содержит  все  действи- 
тельные значения  а,  равномерно  наиболее  мощного  правила 
не  существует.  Но  аналогично  (1.131)  правило,  согласно 
которому  гипотеза  Н отвергается,  если 


- V (Хі  _ а0) ' 
І~  I 


/1=1 


І=1 


У п 


(1.161) 


является  наиболее  мощным  несмещенным  правилом  с задан- 
ной вероятностью  а ошибки  первого  рода. 

Вероятность  ошибки  второго  рода  при  этом  равна 

Іа/2 

Р(б)  = § щ (/;  б )йІ.  (1.162) 

~і(х/2 

Наконец,  в заключение  отметим,  что  обобщение  после- 
довательного анализа  на  случай  многих  параметров  бази- 
руется па  соображениях,  аналогичных  тем,  которые  изло- 
жены в § 1.4.6  с усложнениями,  связанными  с переходом 
от  одномерного  к многомерному  пространству  параметров. 

1.5.2.  Выборка  из  многомерного  распределения.  До  сих 
пор  рассматривались  задачи  проверки  гипотез  об  одном 
параметре  или  совокупности  параметров  одномерной  функ- 
ции распределения  случайной  величины  | по  выборке,  эле- 
менты которой  извлечены  из  множества  возможных  значе- 
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ний  этой  случайной  величины.  Более  общей  является 
задача  проверки  гипотез  о параметрах  многомерного  рас- 
пределения совокупности  случайных  величин  \м. 

Соответственно  элементами  многомерной  выборки  размером  п 
являются  группы  из  N чисел  Хі к,  х2ь,  хКъ,  к — 1,  . . . 

. . п,  которые  можно  рассматривать  как  компоненты 
вектора  х*.  Тогда  выборка  является  прямоугольной  мат- 
рицей X размером  N X п: 

Х = ||*і*  II-  »'=  1 к 1 , . . . , п.  (1.163) 

Проиллюстрируем  обобщение  теории  проверки  гипотез 
о параметрах  многомерного  распределения  на  примере 
УѴ-мерного  нормального  распределения.  Используя  вектор- 
ную форму  записи  [см.  (2.57)  в первой  книге],  представим 
многомерную  плотность  вероятности  N зависимых  нормаль- 
ных случайных  величин  в виде 


йУл-(х) 


— Ту — ехР  [ -у(х~а)'  м 1 

(2л)  2 У"сШЙ 


(х-а)]  , 

(1.164) 


где  а — вектор -столбец  средних  значений;  М — корреля- 
ционная матрица,  штрих  указывает  на  операцию  транспо- 
нирования. 

Простейшая  задача  проверки  гипотез  в этом  случае 
формулируется  следующим  образом.  Имеется  одно  выбороч- 
ное значение  х (векторное)  из  распределения  (1.164). 
Выдвигается  простая  гипотеза  Я0,  что  это  значение  принад- 
лежит нормальному  распределению  с вектором  средних 
а0  и корреляционной  матрицей  М,  против  простой  альтер- 
нативы Ни  что  это  значение  принадлежит  нормальному 
распределению  с вектором  средних  и той  же  самой  корре- 
ляционной матрицей  М. 

Логарифм  отношения  правдоподобия  в этом  случае  имеет 
следующий  вид: 


1п/(х) 


| Ц'іѵ  (х  I аі) 
(х  I а0) 


= -у  [(х  — ЯіУ  М"1  (х  — а4)  — (х  — а0)'  Мм  (х  — а0)] 


= х'М  1 (а,  — а0)  — у (аі  + а0)'  М х(аі  — а0).  (1.165) 


Структура  этого  выражения  аналогична  структуре 
(1.66).  Обе  указанные  формулы  совпадают  при  N = п — 1. 
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Правило  выбора  решения  формулируется  теперь  так: 
принимается  решение  у!  (среднее  равно  од),  если  для  наблю- 
даемого вектора  х 

х' М 1 (а,  — а0)  > у (а4  Д а0)'  М 1 (а!  — а„)  + 1п  с,  ( 1 . 1 66) 

и принимается  решение  у0  (среднее  равно  а0),  если  выпол- 
няется неравенство,  противоположное (1.166).  Каки  раньше, 
величина  с определяется  в зависимости  от  выбранного 
критерия  (по  располагаемым  априорным  данным  о принад- 
лежности к одному  из  двух  распределений  и о функции 
потерь). 

Из  (1.166)  видно,  что  процедура  проверки  гипотезы 
о среднем  значении  многомерного  нормального  распреде- 
ления сводится  к вычислению  линейной  функции  компонент 
вектора  результатов  наблюдений  и сравнению  ее  с порогом 

К у (а1  + а0)'М-1(а1  — а0)  + Іпс.  (1.167) 

Для  вычисления  условных  вероятностей  ошибок  первого 
и второго  рода  можно  воспользоваться  формулами  (1.25) 
и (1.26),  т.  е.  отображением  А-мерного  пространства  векто- 
ра х на  одномерную  область  отношения  правдоподобия. 
Из  (1.165)  следует,  что  1п  I (х)  представляет  нормальную 
случайную  величину.  Поэтому  достаточно  определить  ее 
среднее  и дисперсию  при  двух  гипотезах  Я4  и Я0.  Имеем 

пц  {1п  / (х)  | Я(}  = 


- т1  {.х'|  М 1 (а4  — а0)  — у (а4  + а0)'  ЛК1  (а!  — а0)  = 
= а1  М 1(а1  -а0)  — у(аі-)-ао)  М 1 (а4  — а0)  = 
“у(аі  а0)  М 1 (аі  — а0) 


и,  обозначая 

сі2  - (а!  — а0)'  М_1  (Э[  — а0), 

(1.168) 

получим 

т1(1п/(х)|Я1}  - — ■ 

(1.169) 

Аналогичным  образом  находим 

т1{1п/(х)|Я0}  = — -у-, 

(1.170) 

М2  {1п  1 (х)  | Яо}  - М2  {1п  / (х)  | Я,}  = й2. 

(1.171) 
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Тогда  Вероятности  ошибок  первого  и второго  рода  равны 
[см.  (1.73)  и (1.73')] 

а = Р {1п  / (х)  > 1п  с | Я0}  = 1 — Р (у  Т-  , (1-172) 

Р = Р {1п  / (х)  < 1п  с | //]}  = Я ( - 4 + -^)  • (1-172') 


Если  результаты  наблюдений  представлены  не  одним 
вектором  х,  а п векторами  хк,  к = 1,  . . .,  п,  т.  е.  матрицей 
X размером  Я X п [см.  (1.163)],  то  задача  проверки  гипотез 
о среднем  значении  многомерного  нормального  распреде- 
ления сводится  к рассмотренной  выше,  если  х заменить 

1 " 

на  среднее  арифметическое  — У]хк,  а матрицу  М — на  ММ. 

А = 1 

Величина  д в (1.172)  и (1.172')  при  этом  должна  быть  заме- 
нена на  йп  = еіУп. 

1.5.3.  Непараметрические  методы  проверки  гипотез  о сим- 
метрии распределения.  В непараметрических  случаях,  когда 
неизвестен  даже  вид  распределения,  которому  принадлежит 
выборка,  правило  выбора  решения  может  иногда  базиро- 
ваться на  использовании  упорядоченности  выборочных  зна- 
чений. Пусть,  например,  проверяется  гипотеза  Я о сим- 
метрии относительно  нуля  (четности)  функции  распреде- 
ления Ші  (х),  которому  принадлежит  выборка  хи  ■ ■ •,  хп. 

Введем  счетчик  знаков: 


и (х)  = 


1,  *>0, 

О,  л:<0. 


(1.173) 


Одним  из  возможных  правил  выбора  решений  является 
следующее:  отвергается  гипотеза  Я,  т.  е.  принимается 
решение  (уі),  что 

щ(х)Фщ(  — х)  (1-174) 

или 

Рі(х)ф  1-М-х),  (1.174') 


если  для  выборки  хи  . . . , хп  заданного  размера  п 

2 и(Хі)>с , (1.175) 

І=і 


и принимается  решение  (у0)>  что  распределение  (х) 
симметрично  относительно  нуля,  если  выполняется  нера- 
венство, обратное  (1.175). 
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Так  как  элементы  выборки  хг  независимы  и распределены 
одинаково,  то  сумма  2 и (.ѵ*)  подчиняется  биномиальному 

закону  распределения  (см.  § 1.2  в первой  книге)  с пара- 
метрами п и р = Р{Х;>0}=1 — Рі  (0).  Гипотеза  Н сим- 
метрии ( х ) относительно  нуля  равносильна  утверждению 

(Я)М0)  = у,  (1.176) 

а альтернатива  К,  состоит  тогда  в том,  что 

(ЮМО)^у-  (1.176') 

Таким  образом,  сумма  в левой  части  неравенства  (1.175) 
подчиняется  биномиальному  закону  с параметрами 

у)  і если  справедлива  гипотеза  //,  и этому  же  закону 

с параметрами  [п,  р > если  справедлива  альтерна- 

тива К,-  Нетрудно  записать  выражения  условных  вероят- 
ностей ошибок  при  использовании  правила  ( 1 . 175). 

Условная  вероятность  ошибки  первого  рода  равна 
[см.  (1.22)  в первой  книге] 

а = Р {у!  I Н)  - Р { ^ и (х,)  > с | Я}  - 

7=1 

71 

- (а)(т)";  1~!±(п~Іс^  [с]  + 1),  (1.177) 

*=[с]-И  2 

где  Ід(п  — т,  т -|-  1)  — отношение  неполной  бета-функции 
к полной  бета-функции  и [с]  — целая  часть  числа  с. 
Условная  вероятность  ошибки  второго  рода  равна 

Р = рІУо\  К}  = Р { 2 и (Хі)  < с | К } = 

і=1  і 

[г] 

= 2 (")/>'(! -/>)""' =*  А-*  (л- [с],  [С]  + 1).  (1.178) 
;=о 

Из  (1 . 177)  и (1 . 178)  следует,  что  при  р = 1 — рі  (0)  > 0,5 
правило  (1.165)  несмещенное.  Действительно,  при  д = 
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= 1 — рСу  из  неравенства  (см.  (1.22)  в первой  книге) 

1/2 

Ві/2(п—т,  т+1)=§  гп~т~1  (I  — г)т (іг > 
о 
ч 

> Л 2"-т-і  ( 1 — г)т  (іг  = Вч(п  — т , т + 1 ) 
о 


следует  неравенство 

/і /.(Я  — [с]),  [с]+1)>/,(л-[с],  [С]  + 1), 


и,  следовательно, 

1 — р>  а. 


При  большом  л биномиальное  распределение  аппрок- 
симируется нормальным  (см.  § 1.2.2  в первой  книге)  и фор- 
мулы (1.177)  и (1.178)  могут  быть  переписаны  в виде 


а - 


1-Г 


[с]  + 1— тг 


Ѵп/  2 
, \с]  + \~пр  ч 

ІУлр(І-р)  і 


(1.179) 

(1.180) 


где  Р (х)  — интеграл  Лапласа. 

При  заданном  уровне  значимости  а (вероятности  ошибки 
первого  рода)  порог  с в правиле  (1.175)  определяется  из  со- 
отношения 

1,  (1.181) 

|/  п 2 


где  Ха.  — процентная  точка  биномиального  (или  асимпто- 
тически нормального  при  п > 1)  распределения.  Подстав- 
ляя (1.181)  в (1.180),  получаем 


[У- У" 

І'-т) 

Ѵр  (і 

- р ) 

(1.182) 


Из  (1.182)  видно,  что  для  несмещенного  правила  ( р > у) 
при  п — >-  оо  вероятность  ошибки  второго  рода  р — >-  0. 

Если  р — I — Рі  (0)  < у , то  несмещенным  будет  пра- 
вило, согласно  которому  гипотеза  Я отвергается  при  выпол- 
нении неравенства,  обратного  (1.175). 
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Тогда 


а Р | 2«(^)<с|я|  І±(п-[с],  [с]  + 1),  (1.183) 

Р - р { (хі)>с  | к}  1 -Л-р(л-[с],  [с]  + 1)  (1.183') 

и при  Р < у из  (1.183)  и (1.183')  следует  1 — р >а. 
Для  заданного  а порог  с определяется  из  равенства 

[СІ=ТТ  (Ы84) 

Может  быть  сформулировано  также  двухстороннее  пра- 
вило выбора  решения,  согласно  которому  гипотеза  Н о сим- 
метрии распределения  отвергается,  если  и общее  число 
положительных  элементов  выборки,  и общее  число  отрица- 
тельных элементов  превосходит  некоторый  порог  с,  т.  е. 

п „ 

У1и(хі)>с,  п—  «(*;)>  с 

І=і  і=1 


с<  Д и(х-,)<п-с.  (1.185) 

Тогда  вероятности  ошибок  равны 

П 

а Р {6’  < ^ 11  (Л'і)  <п  — с\н\ 

І=1  ’ 

і 

2 С)(ІУ= 

/і=[с]+1 

*±([С]  + 1,  П-[С])  — /±(П  — [СІ,  [с}  + 1),  (1.186) 

2 2 
П 

Р 1 — Р |с<  2 и(Хі)<п~ с\  к\  — 1 — 

І=1  ^ 

п-[с]-і 

І=[с]  + 1 

= 1-Л-р([с]  + 1,  п-[с])  + Іир(п~[с],  [с]  + 1).  (1.187) 
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При  п > 1 правые  части  этих  формул  переходят  в интег- 
ралы Лапласа 


а - 


1-2  Р 

[с]  + 1 — яр 


М + 1 


У л /2 
[С]  + 1-я(1-р) 


(1.188) 


р ~г  ( ) + г (■ і ' • У (1.189) 

УУ  пр  (і  — р) ) ѵ Упр(\—р)  ) 

Фиксируя*)  уровень  значимости  а , находим  из  (1.188) 
величину  порога  с в (1.175): 

с = 1,  (1.190) 

Уп  — 

где  хі-|-а  — процентная  точка  нормального  распределения. 

2 

Подставляя  (1.190)  в (1.189),  получаем 


4 р 


Уп 


Ч+а 


+ о-(1-2р) 


Упр  (1  — р) 

2 п 

уУ'Н+а  -у(!-2р) 
* 2 

Упр  (1-Р) 


(Ы9і; 


Вероятности  ошибок  могут  быть  уменьшены,  если  вместо 
(1.175)  использовать  более  мощное  правило:  отвергается 
гипотеза  о симметрии  распределения,  если  для  выборки 
Хі,  . . .,  хп  заданного  размера  п 


2!  2 ]и{Хі  + Хі)>с. 

з'=  і І=І 


1.192) 


где  «(х)  — функция,  определенная  согласно  (1.173) 
(см.  [7,  § 6.9]). 

Задачи 

1.1.  Пусть  Н0 — простая  гипотеза,  состоящая  в том,  что  выборка 
X],  . . . , хп  получена  из  экспоненциального  распределения 


(х)  = е~х,  х>0, 


(1) 


*)  Так  как  п 3>  1 , то  [с]  яз  с,  и не  имеет  существенного  зна- 
чения, что  правая  часть  (1.190)  не  при  любом  а будет  целым  числом, 
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а И{  — простая  альтернатива,  состоящая  в том,  что  эта  выборка 
получена  нз  одностороннего  нормального  распределения 


Щ (х)  == 


х > 0. 


(2) 


Доказать  следующее  оптимальное  правило  выбора  решения- 
отвергается  гипотеза  Н0,  если 


П 

_і_  у 

п ^ 

І=1 


(х; 


2 1п  с 
п 


(3) 


іще  с — константа,  характеризующая  выбранный  критерий  качества. 
Показать,  что  при  п ->■  оо  имеют  место  следующие  асимптотические 
формулы  для  условных  вероятностей  ошибок  первого  и второго  рода: 


1.2.  Рассматриваются  последовательности  N независимых  испы- 
таний (см.  § 1.2  в первой  книге).  Пусть  х*  — число  появления  собы- 
тии в і-н  последовательности  («  = 1 , . . . , я) . Выдвигается  простая 
гипотеза  Н0  о том,  что  априорная  вероятность  появления  события 
в каждом  испытании  равна  рд*  против  простой  альтернативы  Н 
что  эта  вероятность  равна  рі  (рі  ]>  р0).  Доказать  следующее  опти- 
мальное правило  выбора  решения:  отвергается  гипотеза  Я0,  если 


п 

1п  [ 

— ѵ - 

VI  — Рі  / ^ 

І=1 


1п 


Р і (1  — Ро) 

Ро  (1— Рі) 


-К, 


(5) 


где  с константа,  характеризующая  выбранный  критерий.  Показать, 
что  вероятности  ошибок  первого  и второго  рода  для  правила  (5) 
равны  соответственно  ѵ 

ві-Рот~[пК],  [пК)  + \) 

В(ІѴп-[пК\ , [я/С]  + 1)  ’ (6) 

ві -п^п-ІпК],  [пК]  + 1) 

В{ІѴп-[пК},  [п/СН-1)  ’ (6'} 

где  Вд(х,  у)  и В (х,  р)  — неполная  и полная  бета-функции. 
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1.3.  Пусть  Я о — простая  гипотеза,  состоящая  в том,  что  выборка 
А'і , . . . , хп  получена  из  релеевского  распределения 

Л-2 

™і(*)  = -^ге  202  (7) 

с параметром  <7  = а0,  а Я1  — простая  альтернатива,  состоящая  в том, 
что  эта  выборка  получена  из  того  же  распределения  с параметром 
<т  = о1>ст0.  Доказать  следующее  оптимальное  правило  выбора  реше- 
ния: отвергается  гипотеза  Я0,  если 


где  с — константа,  характеризующая  выбранный  критерий  качества. 
Показать,  что  вероятности  ошибок  первого  и второго  рода  для 
правила  (8)  равны  соответственно 


Г 


а 


Г (я) 


Р 


1’  (л) 


(9) 

(9') 


где  Г (я,  х)  — неполная  гамма-функция.  Объяснить  совпадение  фор- 
мул (9)  и (9')  с (1.98)  и (1.98')  при  ст2-  . 

2.К 

1.4.  Показать,  что  дисперсии  логарифма  одномерного  отношения 
правдоподобия  для  двух  нормальных  распределений  со  средними 
а(  и а0  и одинаковыми  дисперсиями  а2  равны  [см.  (1.47)  и (1.48)]: 


^20  ~М2і 


(«1  — ар)2 

а2 


(10) 


1.5.  Пустъ  Я0  — простая  гипотеза,  состоящая  в том,  что  х полу- 
чено из  нормального  распределения 


_л2 

т{х\Н0)  - !_  е 2 , (11) 

у 2л 

а Ні  — простая  альтернатива,  состоящая  в том,  что  эта  величина 
определена  из  бимодального  распределения 

Ші  И //,)  = — [е-<*“°>2  і_е-(*+°)*].  (12) 

2 у л 

Доказать  следующее  оптимальное  правило  выбора  решения:  отвер- 
гается гипотеза  #0,  если 


(л  — 2а)2 


Цх). 


(л+2  а)2 


У 2 


еп2[е 
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(13) 


Обратить  внимание  на  то,  что  область  действительной  оси  х, 
определяемая  неравенством  (13),  двухсвязная. 

1.6.  Пусть  х — выборочное  значение  (векторное)  из  многомерного 
нормального  распределения  с корреляционной  матрицей  о2І  (где  I — 
единичная  матрица).  Выдвигается  гипотеза  Я0,  что  среднее  (вектор- 
ное) равно  а0,  против  альтернативы  Я4,  что  оно  равно  а4.  Показать, 
что  оптимальное  по  критерию  максимального  правдоподобия  раз- 
биение пространства  выборок  производится  гиперплоскостью,  пер- 
пендикулярной линии,  соединяющей  точки  х = а0  и х = аі,  и деля- 
щей эту  линию  пополам. 

1.7.  Пусть  х — выборочное  значение  (векторное)  из  многомерного 
нормального  распределения.  Выдвигается  гипотеза  Я0,  что  это  зна- 
чение принадлежит  нормальному  распределению  с вектором  сред- 
них а и корреляционной  матрицей  М0,  против  альтернативы  что 
это  значение  принадлежит  нормальному  распределению  с тем  же 
самым  вектором  средних  и корреляционной  матрицей  М4.  Показать, 
что  оптимальное  правило  выбора  решения  формулируется  следующим 
образом:  принимается  решение  (корреляционная  матрица  равна  М>), 
если  для  наблюдаемого  вектора  х 


(х-а)'  (М4  — М0)  (х  — а)>21пс+1п^-^  , (14) 

и принимается  решение  у0  (корреляционная  матрица  равна  М0),  если 
выполняется  неравенство,  обратное  (14). 

Показать,  что,  совершая  замену  переменных 

у = Г(х-а),  (15) 

где  матрица  ( определяется  из 

= м0іл  (іб) 

и диагональная  матрица,  элементы  Яі,  ...,  Яд'  которой  являются 
корнями  уравнения 

беі  [М4  — ЯМ0]  = 0,  (17) 

можно  неравенство  (14)  привести  к виду 

N ЛГ 

У ( I ^т~ | У\  ^ 2 1п  с-(-  ^ 1п  Я,-.  (18) 

І=1  ‘ 1=1 


Проверяется  простая  гипотеза  Я,  что  дисперсия  нормальной 
случайной  величины  с нулевым  средним  равна  о2,  против  сложной 
альтернативы,  что  дисперсия  о2  Ф а§.  Доказать,  что  правило,  согласно 
которому  отвергается  гипотеза  Я,  если 

п 

2 4 > (і9) 

А=1 

гДе  Ха.  процентная  точка  ^-распределения  с п степенями  свободы, 

является  равномерно  наиболее  мощным  относительно  сложной  альтер- 
нативы, если  о2  > <т§. 


7-197 
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1.9.  Проверяется  простая  гипотееа  Н,  что  параметр  X экспонен- 
циального распределения  равен  Хо,  против  сложной  альтернативы,  что 
X Ф Хо-  Доказать,  что  правило,  согласно  которому  отвергается  гипо- 
теза И,  если 

п 

й=  1 

где  Хі-а~  процентная  точка  %2-распределения  с 2л  степенями  сво- 
боды, является  равномерно  наиболее  мощным  относительно  сложной 
альтернативы,  если  X > Х0. 

1.10.  Доказать,  что  условный  максимум  функционала 

СЮ 

Ф[ф(х)]=  ^ ю(х)1пф(л ) (іх  (21) 

— оо 

оо 

при  условии  ф(*))>0  и ^ ф (х)  с?а:  = 1 достигается  при 

— ОО 


Ф (*)  = оу  (*), 


т.  е.  что 


оо’  оо 

ю (х)  1 п и)  (х)  йх  ^ и)  (х)  1п  ф {х)  Лх. 

— оо  — ОО 


(22) 

(23) 
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ГЛАВА 

ВТОРАЯ 


СТАТИСТИКА  СЛУЧАЙНЫХ  ВЕЛИЧИН 


2.1.  ВЫБОРКА  И ЕЕ  ХАРАКТЕРИСТИКИ 

2.1.1.  Эмпирическая  функция  распределения.  Вернемся 
к § 1.1.4  и рассмотрим  снова  некоторый  случайный  экспери- 
мент и случайную  величину,  связанную  с ним  в том  смысле, 
что  возможные  значения  этой  случайной  величины  пред- 
ставляют результаты  отдельных  наблюдений.  Последователь- 
ность п наблюдений  характеризуется  выборкой  размера  п, 
элементами  которой  {являются  указанные  возможные  зна- 
чения случайной  величины  |. 

Будем  рассматривать  выборки,  которые  получаются  в ре- 
зультате независимых  наблюдений.  Процесс  извлечения 
таких  выборок  называют  простым  случайным  выбором. 

Если  известны  интегральная  функция  распределения 
Рі  (х)  или  плотность  вероятности  (х)  случайной  величины  |, 
то  говорят,  что  выборка  хи  . . .,  хп  принадлежит  распре- 
делению Р і (х)  или  и>і  (х).  Перегруппировав  элементы  выбор- 
ки путем  расстановки  их  в возрастающем  порядке  так,  что 
Хі>х } при  і > /,  получают  упорядоченную  выборку,  кото- 
рую называют  статистическим  (или  вариационным)  рядом. 
Отдельные  члены  статистического  ряда  называют  иногда 
порядковыми  статистиками.  Примерами  порядковых  ста- 
тистик является  наименьшее  значение  хи  наибольшее  хп, 
выборочная  медиана  хп  (если  п — четное). 

7Г+1 

Пусть  ѵ (х)  — число  выборочных  значений,  не  превосхо- 
дящих некоторого  порога  х.  Ступенчатая  функция 

= 2 “(х-хк),  (2.1) 

к 

где  и (х)  — единичный  скачок  [см.  (1.173)],  представляет 
частоту  события  в последовательности  п наблюдений. 
Ее  называют  эмпирической  функцией  распределения  выборки. 
100 


Эта  функция  представляет  статистический  аналог  функции 
распределения  случайной  величины,  но  не  совпадает  с по- 
следней (рис.  12).  Эмпирическая  функция  распределения 
/Г1  (х)  при  п — > оо  сходится  по  вероятности  к гипотетиче- 
ской функции  распределения  Р 4 (х),  если  выборка,  по  кото- 
рой построена  эмпирическая  функция,  извлечена  из  распре- 
деления Р{  (х)  (теорема  Гливенко,  см.  [31),  т.  е.  при  любом 
хи  е > О 

1іт  Р { | Рі  (х)  - Р*  (х)  [ > е}  = 0.  (2.2) 

П>  оо  V ' 

Когда  осуществляется  выбор  из  непрерывного  распреде- 
ления и число  выборочных  значений  очень  велико,  можно 


производить  группирование.  При  этом  область  возможных 
значений  случайной  величины  разделяют  на  N непересекаю- 
щихся  интервалов  и объединяют  выборочные  значения, 
попадающие  в один  и тот  же  интервал.  На  каждом  из  этих 
интервалов  как  на  основании  строят  прямоугольник  высотой 

V;  , 

рр: , где  Пі  длина  интервала,  ѵ,  — число  выборочных 

значений,  попавших  в этот  і- й интервал;  п — размер 
выборки.  Полученную  таким  образом  ступенчатую  функцию 


<(х) 

N 

__  1 ѵ ѵі  (*) 

п А Ні  ’ 

(2.3) 

і=і 

V*  (х)  = | 

%і*СХ  <х,+1, 

0,  х<хь  х>хі+1, 

(2.3') 

/; 

и — хі+1  Хі 

(2.3") 
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называют  гистограммой  выборки.  Она  служит  статистиче- 
ским аналогом  плотности  вероятности  случайной  величины 
(рис.  13). 


2.1.2.  Выборочные  моменты.  Эмпирическая  функция 
распределения  содержит  всю  статистическую  информацию, 
которая  накоплена  в процессе  извлечения  выборки.  Как 
известно  из  теории  вероятностей,  случайную  величину  мож- 
но характеризовать  не  только  функцией  распределения,  но 
и числами  — моментами  распределения.  Аналогично  стати- 
стические свойства  выборки  можно  характеризовать  не  толь- 
ко эмпирической  функцией  распределения,  но  и более 
грубо  — несколькими  числами  — выборочными  моментами. 
Выборочный  момент  к-то  порядка  определяется  по  формуле 

П 

т*=пг2^’  (2-4) 

і=  1 

т.  е.  он  равен  среднему  арифметическому  к-х  степеней 
выборочных  значений.  В отличие  от  моментов  случайной 
величины,  выборочные  моменты  обозначают  звездочкой. 

Следует  всегда  отличать  выборочные  моменты  от  момен- 
тов случайной  величины.  Последние  определяются  через 
априорную  функцию  распределения  щ (х)  по  известной 
формуле  (см.  (2.77)  в первой  книге) 

оо 

тк  = ^ хки)і  ( х ) сіх.  (2.5) 
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Для  дискретной  случайной  величины,  принимающей  зна- 
чения Хі,  с вероятностью  рі 

тк=У±х\рі.  (2.5') 

І 

Таким  образом,  моменты  случайной  величины  вычисля- 
ются по  известным  априорным  характеристикам,  в то  вре- 
мя как  выборочные  моменты  — на  основании  наблюденных 
значений. 

Рассмотрим  выборочные  моменты  первых  четырех  поряд- 
ков. В соответствии  с общим  определением  выборочный 
момент  первого  порядка,  или  просто  выборочное  среднее, 
равен  среднему  арифметическому  выборочных  данных,  т.  е. 

П 

<=4-2^  (2-6) 

1=1 

Выборочное  среднее  характеризует  расположение  выбор- 
ки на  действительной  оси,  указывает  область,  в которой 
группируются  выборочные  значения.  Разность  Хі  — т* 
называют  отклонением  выборочного  значения  от  выбороч- 
ного среднего.  Выборочные  моменты  отклонения  называются 
центральными  и обозначаются  символами  М %,  к = 2,  3,  ... 
В соответствии  с (2.4) 

П 

М1  = ~^{х1-т*г)\  (2.7) 

1=  1 

Выборочная  дисперсия  Л4*  (центральный  выборочный 
момент  второго  порядка)  является  мерой  рассеяния  выбо- 
рочных значений  относительно  выборочного  среднего: 

П 

= (х(-т*)*.  (2.8) 

1=1 


С выборочными  центральными  моментами  третьего  и чет- 
вертого порядка  связаны  выборочный  коэффициент  асимме- 
трии к*  и выборочный  коэффициент  эксцесса  у*: 


к* 


Щ 

(М*)3/2  ’ 


У* 


М 4* 

(/и*)2  • 


(2.9) 
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2.1.3.  Функция  правдоподобия.  Каждая  выборка  раз- 
мером п,  т.  е.  совокупность  п чисел,  представляет  точку  в п- 
мерном  пространстве.  Если  мысленно  представить  все  воз- 
можные исходы  экспериментов,  то  совокупности  всевозмож- 
ных выборок  заданного  размера  п соответствует  некоторая 
область  «-мерного  пространства  выборок.  Будем  рассматри- 
вать не  индивидуально  каждую  выборку,  а совокупность 
всех  выборок  с фиксированным  размером  п,  принадлежащих 
априорному  распределению  а»!  ( х ).  Плотность  вероятности 
выборки  с независимыми  элементами  равна  [см.  (1.6)] 

П 

№„(*!,  . . .,*„)=  []  щ(хк).  (2.10) 

й= 1 

Вероятность  появления  выборки  хи  ...,хп  из  дискрет- 
ного распределения 

П 

рп(Хі,  ...,хп)=  11  р(хк),  (2.10') 

й*  1 

где  р (хк)  — вероятность  того,  что  | = хк. 

Совместное  распределение  (хи  . . .,  хп)  выборочных 
значений,  как  уже  указывалось  в первой  главе,  называют 
функцией  правдоподобия  выборки.  Зная  распределение 
(*)>  можно  по  формуле  (2 . 10)  найти  функцию  правдопо- 
добия и по  известным  правилам  теории  вероятностей 
(см.  гл.  3 в.  первой  книге)  определить  распределение 
любой  функции  § (хь  . . .,  хп)  выборочных  значений. 

Функции  выборочных  значений  часто  называют  стати- 
стиками. Примером  статистики  являются  выборочные 
моменты.  Выборочные  значения  и их  функции,  в частности 
выборочные  моменты,  являются  случайными  величинами, 
в то  время  как  числовые  характеристики  (моменты)  исход- 
ного распределения  (х)  являются  постоянными  числами, 
хотя  все  или  некоторые  из  них  могут  быть  неизвестными  *). 

Когда  накоплены  статистические  данные  (выборки), 
можно  использовать  выборочные  значения  и их  характери- 
стики в форме  эмпирических  распределений,  гистограмм, 
выборочных  моментов  и т.  п.  для  описательных  целей. 


*)  Из  (2.4)  следует,  что  при  соответствующих  ограничениях 
на  моменты  исходного  распределения,  указываемые  центральной 
предельной  теоремой  (см.  § 3.4  в первой  книге),  выборочные  момен- 
ты тк  при  большом  размере  выборки  асимптотически  нормальны. 
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Однако  задачи  математической  статистики  не  ограничивают- 
ся описанием.  Главным  является  получение  статистических 
выводов  о неизвестном  или  неполностью  известном  распре- 
делении случайной  величины  на  основании  ее  выборочных 
значений. 

2.1.4.  Закон  больших  чисел.  Рассмотрим  выборки 
хі’  ■ • -\хп  из  распределения  да,  ( х ) случайной  величины 
имеющей  конечную  дисперсию  о2  (а  следовательно,  и конеч- 
ное среднее  а).  Составим  выборочное  среднее 

і=  1 

и вычислим  его  среднее  по  пространству  выборок: 

п п 

К) = ~ 2 {*) 2 а = а>  (2. 1 1) 

і=1  1=1 

так  как  т,  {х{\  ~ а. 

I Ітак,  среднее  значение  от  выборочного  среднего  при 
любом  размере  выборки  в точности  совпадает  со  средним 
значением  а случайной  величины  Это,  конечно,  не  зна- 
чит, что  любое  конкретное  выборочное  среднее  будет  совпа- 
дать с величиной  а.  Выборочное  среднее  — величина  слу- 
чайная, но  ее  среднее  в точности  совпадает  со  средним 
исходного  распределения. 

Найдем  дисперсию  выборочного  среднего: 


^2  2 Ма  {*,}  = -!.  2 = (2Л1') 

і=1  і=1 

Здесь  использовано  то  обстоятельство,  что  дисперсия  суммы 
равна  сумме  дисперсии,  если  слагаемые  независимы,  и что 

Лі2  {хі}  = о2. 

Таким  образом,  дисперсия  выборочного  среднего  равна 
дисперсии  случайной  величины  деленной  на  размер 

выборки.  По  мере  того  как  увеличивается  размер  выборки, 
дисперсия  выборочного  среднего  уменьшается  и в пределе 
при  п ->  оо  стремится  к нулю. 

Рассмотрим  вероятность  того,  что  выборочное  среднее 
отличается  от  среднего  значения  исходного  распределения 
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по  модулю  на  величину,  большую,  чем  произвольное  е > О, 
и исследуем,  как  меняется  эта  вероятность,  когда  размер 
выборки  п неограниченно  возрастает.  В силу  неравенства 
Чебышева  (см.  (2.92)  в первой  книге)  эта  вероятность  не 
должна  превосходить  дисперсии  выборочного  среднего, 
деленной  на  е2,  т.  е. 

Р{\т*-а  |>е}<^.  (2.12) 

Из  (.212)  непосредственно  следует,  что  предел  рассматри- 
ваемой вероятности,  когда  размер  выборки  стремится  к бес- 
конечности, равен  нулю: 

Ііш  Р{\т*  — а|>е}  = 0.  (2.13) 

П—уоо 

Предел  вероятности  противоположного  неравенства  равен 
единице: 

Ііш  Р {\т*  — а|<е}=  1.  (2.13') 

п-у  оо 

Формулы  (2.13)  и (2.13')  являются  аналитическим  выра- 
жением закона  больших  чисел:  по  мере  увеличения  размера 
выборки  вероятность  того,  что  выборочное  среднее  будет 
сколь  угодно  мало  отличаться  от  среднего  значения  случай- 
ной величины  5,  стремится  к единице. 

Следовательно,  закон  больших  чисел  можно  сформу- 
лировать так:  выборочное  среднее  сходится  по  вероятности 
к среднему  значению  исходного  распределения  (см.  § 3.5 
в первой  книге). 

Аналогично  можно  доказать,  что  любой  выборочный 
момент  к- го  порядка  сходится  по  вероятности,  когда  размер 
выборки  неограниченно  возрастает,  к соответствующему 
к-иу  моменту  исходного  распределения,  если  только  суще- 
ствует момент  порядка  2 к этого  распределения. 

Из  закона  больших  чисел  следует,  что  выборочные  харак- 
теристики могут  служить  оценками  соответствующих  харак- 
теристик исходного  распределения.  Конечно,  достаточно 
хорошее  совпадение  выборочных  характеристик  с параметра- 
ми исходного  распределения  получается  только  при  выбор- 
ках очень  большого  размера,  которые  не  всегда  удается 
реализовать.  Наоборот,  для  экономии  времени  и средств 
желательно  ограничиться  возможно  меньшим  размером 
выборки,  но  тогда  нельзя  гарантировать  большой  точности. 
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Возникает  задача  изучения  свойств  этих  оценок  при  конеч- 
ном размере  выборки. 

Закон  больших  чисел  может  быть  записан  в более  общей, 
чем  (2.13),  форме: 


Ііт  Р 


{ |-тг2  /(**)-«і 

І=і 


{/(**)}  >е} 


= 0, 


(2.13") 


где  / (х)  — заданная  функция  и т2  {/  ( Хі )}  < оо . При  п—±  о о 
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распределение  ~ ^ / (х{)  асимптотически  нормальное. 

І—  1 

Заметим  попутно,  что  соотношение  (2.13")  может  быть 
использовано  для  статистической  оценки  величины  интег- 
рала 

оо  П 

^ !{х)ѵи  (а-)  сіх  = ті  {[  (а)}  да  2 ! ( хк ), 

— оо  к=  1 

для  чего  нужно  располагать  выборкой  достаточно  большого 
размера  из  распределения  ію  (х).  Этот  метод  приближенного 
вычисления  интегралов  известен  как  вычислительный  метод 
Монте-Карло. 


2.2.  ОЦЕНКА  ПАРАМЕТРОВ 

ОДНОМЕРНОЙ  ФУНКЦИИ  РАСПРЕДЕЛЕНИЯ 

2.2.1.  Точечные  оценки.  Многие  практически  важные 
задачи  сводятся  к получению  статистических  выводов 
относительно  одномерной  функции  распределения,  вид 
которой  известен,  но  все  или  несколько  параметров  этого 
распределения  неизвестны.  Один  вид  статистических  выво- 
дов связан  с определением  точечных  оценок  параметров,  т.  е. 
с нахождением  таких  функций  выборочных  значений 
(статистик) 

№ = &«>(Х1,  (2.14) 

которые  являются  наилучшими  (в  некотором  смысле)  оцен- 
ками неизвестных  параметров  і = 1,  . . .,  т,  исход- 
ной функции  распределения  ад  (х;  ■вт,  . . .,  •б'™). 

Ограничимся  сначала  случаем,  когда  указанное  рас- 
пределение содержит  один  параметр  і).  Укажем  на  общую 
классификацию  точечных  оценок  параметра  одномерного 
распределения  по  некоторым  свойствам  этих  оценок. 
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Важнейшими  из  этих  свойств  являются:  состоятельность, 
достаточность,  несмещенность  и эффективность.  Рассмотрим 
каждое  из  этих  свойств  в отдельности.  Предварительно 
заметим,  что  сам  оцениваемый  параметр  0 может  быть 
случайной  величиной  и характеризоваться  априорным  рас- 
пределением ащ  (■&).  Часто,  однако,  информация  об  априор- 
ном распределении  отсутствует  или  заранее  известно,  что 
оцениваемый  параметр  не  является  случайным.  В соответ- 
ствии с этими  двумя  ситуациями  определяются: 

1)  условная  оценка  параметра  $ 

0»  =■=?(* і.  ■••.*!.),  (2.15) 

определяемая  по  выборочным  значениям  Х\,  . . .,  хп  в пред- 
положении, что  они  принадлежат  распределению  щ (х  | ■&) 
с фиксированным  *)  значением  параметра  іЗ; 

2)  безусловная  оценка  параметра  і} 

Ѳ„=  ^ Щ($)8(хі,  ■ ■ -,хп)М,  (2.15') 

— оо 

получаемая  усреднением  условной  оценки  по  всем  возмож- 
ным значениям  О. 

Отметим,  что  и условная,  и безусловная  оценки  как 
функции  выборочных  значений  хіг  . . .,  хп  представляют 
случайные  величины,  распределения  которых  определяются 
условной  и безусловной  функциями  правдоподобия  выборки: 

ЙМ*1,  - ■ . 1 ЛГЛ  I •©•) 
и 

оо 

№п(х  Хп)=  § о>і(#)  Ъ)йЪ.  (2.16) 

— оо 

2.2.2.  Состоятельность.  Условная  оценка  Ьп  называется 
состоятельной  оценкой  фиксированного  параметра  О,  если 
она  сходится  по  вероятности  к оцениваемому  параметру 
при  неограниченном  увеличении  размера  выборки  п,  т.  е. 
при  е > О 

Пт  Р {І'&п  — '6|>е}  = 0.  (2.17) 

П-и> о 4 ' 

*)  Обозначение  т(х  | б)  и ему  аналогичные  используются  всегда, 
когда  б случайный  параметр  и рассматривается  условная  плот- 
ность х при  фиксированном  б.  Однако  обозначение  т ( к | ■б’),  наряду 
с ш ( х , б),  часто  используется  нами  и в том  случае,  когда  б — неиз- 
вестный (неслучайный)  параметр. 
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Аналогично^ безусловная  оценка  Ѳ„  называется  состоятель- 
ной оценкой  случайного  параметра  тЭ-,  если  она  сходится 
по  вероятности  к среднему  значению  яг4  {іЗ}  оцениваемого 
параметра  при  неограниченном  увеличении  размера  выбор- 
ки, т.  е.  если  при  е > О 

1ішЯ{|Ѳ„  — т1{д}|>е}  = 0.  (2.17') 

П—Уоо  ' 

Закон  больших  чисел  устанавливает  состоятельность 
условной  оценки  специального  вида  — выборочного  сред- 
него, которое  сходится  по  вероятности  к среднему  значению 
исходного  распределения.  Как  указывалось,  закон  больших 
чисел  может  быть  обобщен:  любой  выборочный  момент 
сходится  при  определенных  условиях  к соответствующему 
моменту  исходного  распределения.  Поэтому  можно  утвер- 
ждать, что  при  указанных  условиях  любой  выборочный 
момент  является  состоятельной  оценкой  соответствующего 
момента  исходного  распределения. 

2.2.3.  Несмещенность.  Условная  оценка  = (х4,. . . хп) 

называется  несмещенной  оценкой  параметра  іЗ,  если  среднее 
значение  этой  оценки  по  совокупности  выборок  заданного 
размера  в точности  равно  оцениваемому  параметру  т е 
если 

Щ {4}  = 

ОО  ОО 

^ ^ • і Хп)  ѴР п (Хі,  . . . 

— ОО  — ОО 

...,хп\^)0хі...аха  = ‘&  (2.18) 

при  любом  п. 

Аналогично  *)  безусловная  оценка  Ѳ„  называется  несме- 
щенной оценкой  случайного  параметра  О,  если  при  любом  п 

ОО  со 

т\  {Ѳл}  = ^ ...  ^ вп117п  (х1(  . . . , хп)  Лхі ...  йхп  =т1  {іЗ}. 


(2.19) 

*)  Символы  т,  в начале  и в конце  формулы  (2.19)  относятся 
к усреднению  по  различным  совокупностям:  оценка  Ѳп  усредняется 
по  пространству  выборок  заданного  размера,  а параметр  — по  его 
возможным  значениям.  (Это  замечание  следует  иметь  в виду 
и в дальнейшем.)  3 
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Разность 


Щ{К}  — ® = Ьп{$) 


(2.20) 


называют  смещением  условной  оценки  (или  систематичес- 
кой ошибкой).  Для  безусловной  оценки  смещение  опреде- 
ляется следующим  образом: 

Щ {©„}  — т1{0’}  = В„(д).  (2.21) 

Заметим,  что  смещение  Ьп  (0)  легко  устранимо,  если 
оно  является  линейной  функцией 

Ьп{$)  = а&  + Ь,  (2.22) 

где  а и Ь — любые  действительные  числа  (одно  из  них 
может  быть  равным  нулю).  Если  имеет  место  указанное 

смещение,  то,  заменяя  оценку  Ьп  на  , получаем  несме- 

щенную оценку. 

Примером  несмещенной  оценки  среднего  значения  а 
для  произвольного  распределения  является  выборочное 

среднее  ап  = — 2 х{,  так  как 

г=1 

п 

ті  Ы = 4-  2 ті  {хі}  = а.  (2.23) 

І==  1 


Таким  образом,  выборочное  среднее  — состоятельная 
и несмещенная  оценка  среднего  значения  исходного  распре- 
деления. Однако  из  состоятельности  не  следует  несмещен- 
ность оценки.  Так,  при  определенных  условиях  выборочная 
дисперсия  о'п  = М*  представляет  состоятельную  оценку 
дисперсии  о2  исходного  распределения.  Однако 

71 

щ {оп}  = ~ 2 ті  {( хі  - о2}  = 

і=  1 
п 

2 Иі  {(**—< а)2}+щ{(т*~  а)2}  — 

І=1 


— 2 Ші  {( хі  — а ) ( т*  — а )}]  = 


71 


ПО 


т.  е.  оценка  Оп  — смещенная.  Величина  смещения  равна 
- — — . При  небольшом  размере  выборки  смещение  может 

быть  существенным.  Например,  при  п = 3 оно  дости- 
гает 33%.  Так  как  в рассматриваемом  случае  смещение  — 
линейная  функция,  то  в соответствии  с (2.20)  при  а = 

= — -і- , 6 = 0 находим  несмещенную  оценку  дисперсии: 


-Ц-М?  = з4п2  (*-<)*■  (2.2Ъ) 

І=1 

Состоятельность  оценки  не  нарушается,  так  как 


Заметим,  что  смещенность  оценки  Оп  является  платой 
за  незнание  среднего  значения  а исходного  распределения. 
Если  величина  а известна,  то 

П 

Щ (Оп)  = 4“  2 т1  {(*!  - °)2}  = а* 


и указанная  оценка  является  несмещенной. 

Иногда  рассматривают  оценки,  для  которых  равенства 
(2.18)  и (2.19)  выполняются  не  при  конечных  размерах 
выборки,  а лишь  при  неограниченном  увеличении  п.  Оценки 
(условные  или  безусловные),  для  которых 

Ѵхтті  {'О'п}  = ■0’  (2.26) 

П — ► оо 

ИЛИ 

Нгп/Пі  {©„}  = {д},  (2.27) 

П->  СО 

называют  асимптотически  несмещенными.  Оценка  (2.24) 
является  примером  асимптотически  несмещенной  оценки, 

так  как  смещение  Ьп  (а2)  = — стремится  к нулю  при  п -»-оо . 

Конечно,  несмещенная  оценка  всегда  асимптотически 
несмещенная,  но  не  наоборот. 

2.2.4.  Достаточность.  До  сих  пор  предполагалось,  что 
получение  оценок  связано  с предварительным  извлечением 
выборки  заданного  размера  п.  Однако  в некоторых  случаях 
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для  оценки  параметра  0 нет  необходимости  знать  каждый 
из  элементов  выборки  л:г  в отдельности  ьа  достаточно  иметь 
одну  или  несколько  функций  §д)  (Хи  _ ^ х Д / _ ] 

• • к (к<п),  выборочных  значений.  Эти  функции  назы- 
вают достаточными  оценками  (или  достаточными  стати- 
стиками) параметра  •&.  Ограничиваясь  достаточными  стати- 
стиками, можно  иногда  существенно ; сократить  процесс 
накопления  данных,  необходимых  для  оценки  неизвестного 
параметра. 


Необходимое  и достаточное  условие  того,  чтобы  § (хи 
■ • •>  хп)  была  достаточной  статистикой,  состоит  в возмож- 
ности факторизации  функции  правдоподобия  выборки,  т.  е. 


представления  \Ѵп  (х[ 


двух  неотрицательных  сомножителей: 


хп  | Я)  в виде  произведения 


№п(хі,  ■ ■ .,хп\®)  = [[§(Хі,  . . .,хп),  ®]И(хі,  . . хп),  (2.28) 

первый  из  которых  зависит  от  О и от^  (іь  . х\ ) а вто. 
рой  — только  от  выборочных  значений  хи  ’ . . ., ' х*(ц  не  за- 
висит от  оцениваемого  параметра  0). 

Если  § (хі хп)  — достаточная  оценка  случайного 

параметра  ■О',  то  апостериорное  распределение  Ѵ\\  (б-)  |Л-Ь  . 

■’  Хп^  зависит  не  от  самих  выборочных  значений 
а только  от  функции  ё (хи  . . .,  хп).  Действительно,  по  фор- 
муле Байеса  (см.  (2.41)  в первой  книге) 


ІЕ,  (Д  | л-д,  . у-,,)  — _ ^(»)1Иг(*і,-..,л-п.[д) 

I (Хі,  ...,хп\$)М 


и’  ?о°ооТаБЛЯЯ  выРвжеиие  для  функции  правдоподобия 
из  (2.28),  получим  *) 

(0  \хи...,хп)=  -^і  О]  ^ 

I щ(Ъ)П8(хх,  ...,хп),щав 

— со 

т.  е. 

№і(®\хи  . . ■,хп)  = У'і[Ъ\8{х1 хп)].  (2.29) 

Пусть  (хи  . . .,  хп)  и §2(хі,  • • .,  хп)  — две  оценки 
параметра  яг,  определенные  по  выборке  заданного  размера  п. 


*)  Можно  также  показать,  что  количество  информации  I (х, 

• ■ • > хп<*.  ѵ),  содержащееся  в выборке  Хі относительно 

неизвестного  параметра  равно  количеству  информации  I [я  (к, 

• • ■>  хп)і  пт.  содержащемуся  в достаточной  оценке  р (х,  ’ х ) 

этого  параметра  (см.  [8,  стр.  42—44]),  6 п/ 
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^иенку  ёі  {х\,  • • хп)  называют  подчиненной  оценке 
§2  (Хі,  . . .,  хп),  если  из 

§2  (Хѵ  ■ • • , Хп)  = ёі  (Д,  ■ ■ . , Хп) 

следует: 

(Аі’  • • • і хп)  — (лу,  . . . , .іД). 


Всякая  оценка,  подчиняющая  достаточную  статистику 
сама  является  достаточной  оценкой. 

Если  і9-0  — какое-нибудь  фиксированное  значение  пара- 
метра г>,  то  можно  доказать  (см.,  например,  [13])  что 
отношение  правдоподобия 

I (хи  . . . , хп  | Ф)  = ‘ • ’ Хп  I 


1^71  ( Х1 1 • • • , хп  | Од) 


представляет  достаточную  статистику,  из  которой,  исполь- 
зуя приведенное  выше  замечание,  можно  найти  достаточную 
оценку  параметра  Ф.  у 

Как  показал  Е.  Б.  Дынкин,  для  одномерных  плотностей 
вероятностен,  которые  представимы  в виде 


°)  = ехР  { 2 Фі  (X)  Сі  (0)  + Со  (в)  + ср0  (X) 


существуют  достаточные  статистики  параметра  0.  Величину 
г называют  рангом  распределения.  Функции  (1,  фь  . . .,  фг) 
и (К  сь  • ■ •,  сг)  линейно  независимы. 

2-2.5.  Эффективность.  Условная  оценка  называется 
эффективной  оценкой  параметра  О,  если  (при  заданном 
смещении)  среднее  значение  (по  совокупности  различных 
выборок  заданного  размера  п)  квадрата  отклонения  оценки 
от  оцениваемого  параметра  не  больше,  чем  среднеквадрати- 
ческое отклонение  для  любой  другой  оценки,  т.  е. 

ті  {(^пэф  — 'й)2}<ш1  {(0„  — 'О)2}.  (2.30) 

Иначе  говоря,  эффективная  оценка  (если  она  сущест- 
вует)^ минимизирует  при  заданном  п величину 

(ГСі{(іЭд  — 'б’)2}  по  всем  возможным  условным  оценкам 
(с  заданным  смещением). 

Если  4 — несмещенная  оценка,  то  в (2.30)  можно 

вместо  0 подставить  ті {0„}  и переписать  это  неравен- 
ство в виде  у 

^2  {К  Эф}  ^ {Й'п}- 


8-197 


(2.31) 
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Следовательно,  эффективная  несмещенная  оценка  опреде- 
ляется из  условия  минимума  дисперсии  оценки. 

Относительной  эффективностью  условной  оценки 
параметра  Я1  называют  отношение  среднеквадратического 
отклонения  эффективной  оценки  от  оцениваемого  параметра 
к среднеквадратическому  отклонению  рассматриваемой  оцен- 
ки (для  смещенных  оценок) 


еп 


Щ эф  — •О')2} 
Щ {(<)„  — в)2} 


(2.32) 


и отношение  дисперсии  эффективной  оценки  к дисперсии 
рассматриваемой  оценки  (для  несмещенных  оценок) 


еп  ($) 


М 2 {^71  эф} 

м2  {ад 


(2.33) 


Ясно,  что  0<е„<1.  Величина  относительной  эффектив- 
ности равна  единице,  когда  оценка  эффективна. 

Иногда  говорят  об  относительной  эффективности  одной 
оценки  'дп'  параметра  О по  отношению  к другой  оценке 
і9ф2>  этого  же  параметра,  понимая  под  этим  отношение  сред- 
неквадратических отклонений  оценок  от  оцениваемого 
параметра.  При  таком  определении  относительная  эффек- 
тивность может  быть  любой  неотрицательной  величиной. 

Следует  отличать  эффективную  оценку  от  асимптотиче- 
ски эффективной.  Оценка  называется  асимптотически  эффе- 
ктивной, если  предельное  значение  ее  относительной  эффе- 
ктивности, когда  размер  выборки  п неограниченно  увели- 
чивается, отличается  от  нуля.  Если  среднеквадратическое 
отклонение  оценки  стремится  к нулю  при  п -*■  оо  (что  обес- 
печивает состоятельность  оценки),  то  эффективность  озна- 
чает, что  при  достаточно  большом  п среднеквадратические 
отклонения  от  оцениваемого  параметра  рассматриваемой 
и эффективной  оценок  представляют  малые  величины  одного 
порядка. 

Обратим  внимание  на  то,  что  для  смещенной  оценки  ее 
эффективность  определяется  не  дисперсией,  а среднеквад- 
ратическим отклонением  от  оцениваемого  параметра.  Легко 
указать  тривиальный  пример  смещенной  оценки  с нулевой 
дисперсией.  Пусть  •&„  = с0  — сопзі  независимо  от  резуль- 
татов наблюдений.  Тогда  М2  {$>,}  = 0.  Но  если  только 
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величина  оцениваемого  параметра  не  угадана  или  не  была 
заранее  известна,  смещение  Ьп  (®)  = с0  — й будет  велико. 
Нельзя,  вообще  говоря,  сделать  равными  нулю  и дисперсию, 
и смещение  оценки.  Поэтому  в дальнейшем  случай  нулевой 
дисперсии  (которому  соответствует  Ь'п  (О)  = —1)  нами 
исключается. 

Существует  неравенство  (известное  как  неравенство 
Крамера),  с помощью  которого  можно  определить 
нижнюю  границу  среднеквадратических  отклонений  оценок 
и тем  самым  оценить  эффективность  той  или  иной  оценки. 

Предположим,  что  границы  области  действительной  оси 
х,  где  функция  распределения  и;,  (х;  О)  отлична  от  нуля, 
не  зависят  от  Это  условие  выполняется,  например 
если  (х;  Ф)  0 на  всей  действительной  оси  или  для 
л:  >>  0.  Примером  распределения,  которое  не  удовлетворяет 
этому  условию,  является  равномерное 

®і(*;  = о<х<#. 

Предположим,  кроме  того,  что  функция  (х;  д)  дифферен- 
цируема по  параметру  О.  Пусть  ■&„  = § (хи  — 

некоторая  условная  оценка  параметра  ■&,  полученная  по  вы- 
борке размером  п.  Среднее  значение  этой  оценки 

СЮ  ОО 

ті{Ьп}=  ^ ^ §(хі:  ...,хп)]Ѵп(хи  ... 


■ ■ ■,хп\$)йх1  . . . сІхп.  (2.34) 

Используя  (2.20),  перепишем  (2.34)  в виде 

0 + М0)=  5 ...  5 в (Хи  .-.,хп)ѴРп(Хі,  ... 


• • .,  Хп\^)йхи  . . . йхп.  (2.35) 

Предположим,  что  интеграл  в правой  части  (2.35)  можно 
дифференцировать  но  параметру  тГК  Тогда  дифференцируя 
обе  части  (2.35)  по  # и используя  предположение  о неза- 
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висимости  пределов  интегрирования  от  й,  получим 

I со  оо 

1 + Ь’п(&)=  § ...  § §(хі ,л:п)^-Гп(хі,  . . .,х„|0)х 

— оо  — оо 

ОО  ОО 

х йХі  • • ■ Лхп  = ^ ...  ^ § (Хі,  . . . , хп)  х 

— ОО  — оо 

К (хи  . . . , хп  I 0)  ^ 1п  (Л'і,  . . . , хп  | д)  йхі  . . . СІХП  = 

= т‘{^пЖ1пГп}  • (2.36) 

Кроме  того,  из  очевидного  равенства 

оо  оо 

^ ^ (-^1»  • • • * %п  | СІХі  . . . (ІХл  = 1 

— оо  — оо 

дифференцированием  по  О находим 

оо  оо 

5 • • • § №п  (хи  ...чхп\  Ъ)йхі...(1хп  = 

— ОО  — оо 

оо  оо 

= 5 ...  5 Ѵп(х и ■■■,хп\Ъ)^г\п№п(хи  ... 

— оо  — оо 

• • ■ , Хп  I О)  сіХі  ...  йхп  = гпі  1^-  1піг„|  =0.  (2.37) 

Умножая  (2.37)  на  т,  {д„}  и вычитая  из  (2.36),  получим 

-^-1пГв}  = 1+&;(0).  (2.38) 

Левая  часть  (2.38)  представляет  ковариацию  двух  случай- 
ных величин,  имеющих  нулевые  средние.  Как  известно 
(см.  стр.  84  в первой  книге),  квадрат  этой  ковариации  не  мо- 
жет превосходить  произведение  дисперсий  сомножите- 
лей, т.  е. 

[1+Мй)]2<М2{04Л42{^1пГп}  . (2.39) 

Неотрицательная  величина  М2  |-^-1п  | = 

==/Пі{[^Іп117п]  } назьІвается  информацией,  содержащейся 
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в выборке  (по  Р.  А.  Фишеру).  Обозначим  эту  величину, 
зависящую  только  от  размера  выборки  и функции  распреде- 
ления іѵ і (х;  0),  через  /д(#)  и предположим,  что  она  отлична 
от  нуля  *).  Тогда  из  (2.39)  находим  искомую  нижнюю  гра- 
ницу дисперсии  оценок  **) 


Мо  {#?1}  > 


[і+ь;(»)і2 

Іп  (в) 


(2.40) 


Заметим,  что  правая  часть  неравенства  (2.40)  является 
также  нижней  границей  среднеквадратических  отклонений 
оценок  от  оцениваемого  параметра.  Так  как  минимум 
величины  гпі  {[#„  — ■О]2}  достигается  при  тх  {йуД  = ® 
(см.  задачу  2.6  в первой  книге),  то 


Щ {[4  - О]2}  > м2  {Ьп}  > — 7^)]2  ■ (2.41) 

Для  оценок  с постоянным  (не  зависящим  от  О)  смещением 
(■ Ь ' (4  = 0),  в частности  и для  несмещенных  оценок 
(Ь  (0)  = 0), 

Мг{^}>7^)  ■ (2-42) 

В этом  случае  нижней  границей  дисперсии  оценок  является 
величина,  обратная  информации,  содержащейся  в выборке. 
Знаки  равенства  в (2.40)  — (2.42)  достигаются  для  эффек- 
тивных оценок. 

При  ограниченном  размере  выборки  случаи,  когда 
в (2.42)  достигается  равенство,  довольно  редки.  Как  пра- 
вило, нижняя  грань  дисперсий  несмещенных  оценок  ока- 
зывается больше  величины,  обратной  информации  по  Фи- 
шеру. Поэтому  эффективность  представляет  не  меру  каче- 
ства оценки,  а меру  качества  нижней  границы  в неравенстве 
Рао  — Крамера.  Если  дисперсия  оценки  достигает  точной 
нижней  границы,  не  равной  / Д (§),  то  отличие  эффективно- 
сти от  единицы  нельзя  считать  показателем  неудовлетвори- 
тельности оценки  (подробнее  см.  [2,  гл.  VIII  ],  а также  [II]). 


) Равенство  нулю  информации  имеет  место,  например  если 
функция  правдоподобия  не  зависит  от  'д. 

**)  Формулу  (2.40)  называют  неравенством  Рао  — Крамера, 
а иногда  неравенством  Фреше.  Все  три  указанных  автора  пришли 
к этому  результату  независимо. 


Нетрудно,  используя  (2.  ІО),  выразить  информацию  через 
функцию  распределения  ы>і  (х;  О’).  Так  как 

1п  №п  (хі,  . . . хп  | #)  = 2ІП®!  (.ѵ,-;  і>) 

І=1 


1п  (хи  . . . , хп  | §)  = 

П 

1=1 

то  с учетом  (2.37) 

со  сю 

'»<»)  = Ма  {ж‘"Г“}  = 5 •••  5 (я-1"1*7")1 


X 


— оо  —со 

сю  П 


X 


Ѵпйх1...йхп=  5 5 [2 


— ОО  — ОО  1=  1 


Щ (Хі\  Ъ) 


X 


, дщ  (Хі\  ■»)  I3 


]'  П шЛхі\  Ъ)Ахі  ■ ■ ■ &хп  = 
1=1 

п оо 

= 2 § [^гіпйУіС**;^)]  щ(хг,  &)сіхі  + 

1=1  — оо 

, V дщ  (д О)  (>  да)і  (х/>  $) 

т-  ^ ^ д&  ахі  \>  д$ 


сІХ]. 


І,  З(ІФІ) 

Так  как  слагаемые  в первой  сумме  одинаковы  и 

оо  оо 

5 а%’~д)^**  = Ж 5 Щ{хк’,Ъ)(1хк  = 0, 


то 


Іп{®)  = п ^ [-2^-  1п  щ (х;  Ъ)йх  = 

■ — оо 

{[-^1пш,(А-;д)]2}  (2.43) 


пт. 
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или 


/»(в)  = л/і(Ф).  (2.43') 

Л аким  образом,  информация  пропорциональна  размеру 
выборки  с коэффициентом  пропорциональности,  зависящим 
от  исходного  распределения. 

Подставляя  (2.43)  в (2.41),  получим 


т,{[Ьп-Щ*)>М2  {й„}> 


іи-*;  (й)і2 

оо 


— оо 


аі і ( х;  &)  йх 


(2.44) 


Величину  т,  {№„  — •й']2}]1/2  принимают  иногда  в ка- 
честве меры  точности  оценки.  Правая  часть  неравенства 
(2.44)  определяет  потенциальную  точность. 

Заметим,  что  для  дискретного  распределения  выражение 
(2.43)  преобразуется  к виду 


м<»)=л2  [ 


д 1п  р (хп  і4)і2 


] Р(ХГ,  О). 


(2.45) 


Предположим  теперь,  что  оценка  4п  = у (хи  . . хп) 
достаточная.  Тогда  из  (2.28)  следует: 

■^■Іп  ...,Хп\^)  = ~\п[фп,  О). 

Пусть,  кроме  того, 

/ (Фл>  0)  = ехр  {к  (#)  [ф„  + с (0)]}  (2.46) 

и,  следовательно, 

Ж ]п  / (Ъ»  «)  = к'  (О)  Ѵп  + ~ [к  (О)  с (0)]. 

Тогда  из  (2.37)  и (2.46)  следует,  что 

{^г  1п  / (4,  О } = к'  (#)  пц  {4}  +^~[к  (■О)  с (■&)]  = О 
и 


1п  №"  = Ж1пІ№п'  = (2.46') 

Подставляя  (2.46')  в (2.38),  получим 
к'  (0)  ті  {[*„  - т{  {<>„}]*}  = к'  (0)  Л42  {#„}  = 1 +Ь'п  (О).  (2.47) 
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С другой  стороны  [см.  (2.46')], 

Мв)  = еті  {(^1ШГл)2}=[й'(й)рМ2{^}-  (2-47') 


Из  (2.47)  и (2.47') 


находим 


к'  (й)  = 


Л»  (в) 

і + б;  (в)  ’ 


(2.47") 


и,  следовательно, 


М2{&п} 


[1  +Ъ'п  («)]• 

л.  (*) 


Итак,  доказано,  что  среди  всех  оценок  с заданным  сме- 
щением Ьп  (0)  достаточная  оценка  определенного  вида 
(удовлетворяющая  условиям  (2.46)  и (2.47"))  имеет  мини- 
мальную дисперсию  по  сравнению  с любыми  другими 
оценками  (см.  (2.41)). 

Таким  образом,  любая  эффективная  оценка  принад- 
лежит классу  достаточных  статистик,  но  лишь  некоторые 
из  достаточных  оценок  эффективны. 

До  сих  пор  в этом  разделе  рассматривались  только 
условные  оценки.  Понятие  эффективности  можно  распро- 
странить и на  безусловные  оценки,  усредняя  (2.30)  по  д. 

Неравенство  Рао  — Крамера  (2.40)  в этом  случае  пере- 
пишется в виде 


^ щ (0)ш!  {[■&„  — -О]2}  с(А> 


со 

$ ®і(0)1і  + Ь'пт*<И> 

— оо 


со 

^ щ (д)  Іп  (6)  М 

— оо 


2.2.6.  Интервальные  оценки.  Под  интервальной  оценкой 
параметра  •0  понимают  интервал,  границы  которого  щін> 
и ^ являются  функциями  выборочных  значений  хи  • ■ ■ 
. . .,  хп  и который  содержит  с заданной  вероятностью 
оцениваемый  параметр.  Аналитически  это  может  быть 
записано  в виде 

Р {ЭД°  < 0 < ЭД°}  = У-  (2.48) 

Вероятность  у называется  коэффициентом  доверия, 
а оценки  ■64Н)  и '6п)  — соответственно  нижним  и верхним 
доверительными  пределами.  Интервал  (б4н),  0(„в))  называется 
доверительным. 
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, Иногда  доверительный  интервал  строят  следующим 

$,в>  = &„  — в*»,  (2.49) 

^пв)  = ^ + е20,  (2.49') 

где  ■б'п  — точечная  оценка  параметра  д;  еь  е2  — положи- 
тельные числа.  Для  заданного  у величины  е4  и е2  можно 
наити  бесконечным  числом  способов.  Если  (г)  функция 

распределения  точечной  оценки,  то  из  (2.48)  (2  49)  и Р 49') 
следует:  ѵ ' 

^{й(1-е2)<йп<д(1+еі)}  = ѵ,  (2.50) 

откуда  получаем  два  соотношения  для  определения  е4  и е2: 

й(1-е2) 

5 ^ (2)  СІ2  = у 2,  (2.51) 


$ ^п(г)<1г  = уі,  (2.5Г) 

в(і+»і) 

ГД6  Ті>  у2  любые  положительные  числа,  меньшие  единицы 
причем  Ѵі  + "Ѵг  = 1 — у-  ’ 

При  е4  = е2  = е формула  (2.50)  определяет  связь 
между  коэффициентом  доверия  у,  относительной  длиной 
доверительного  интервала  2е  и размером  выборки  п\ 

й(1+е) 

Р{#  (1  — в)<4„<#(1  +е)}=  5 Г-п(2)^  = т.  (2.52) 

Щ1-е) 

Если  задана  длина  доверительного  интервала,  то  для 
состоятельных  и несмещенных  оценок  коэффициент  доверия 
будет  возрастать  по  мере  увеличения  размера  выборки, 
приближаясь  к единице.  При  заданном  размере  выборки 
коэффициент  доверия  будет  тем  больше,  чем  шире  довери- 
тельный интервал.  Иными  словами,  при  заданном  разме- 
ре выборки  невозможно  повысить  коэффициент  доверия, 
не  увеличивая  длину  доверительного  интервала,  или 
нельзя  уменьшить  этот  интервал,  не  уменьшая  коэффициен- 
та доверия. 

Возможны  три  вида  задач,  использующих  интервальные 
оценки  параметра.  Для  выборки  заданного  размера  п 
строится  точечная  оценка  Ьп,  находится  ее  распределение 
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I ѴЬП  (г)  и для  фиксированного  е из  (2.52)  определяется 
коэффициент  доверия  у.  При  тех  же  условиях  можно  по  за- 
данному у найти  относительную  длину  доверительного 
интервала  2к.  Наконец,  можно  задать  и коэффициент  дове- 
рия у,  и относительную  длину  доверительного  интервала 
2е.  Тогда  из  (2.52)  последовательными  приближениями 
находят  размер  выборки,  для  которой  возможно  достигнуть 
одновременно  заданных  у и е. 

2.3.  МЕТОДЫ  ПОЛУЧЕНИЯ  ОЦЕНОК 
ПО  ОПРЕДЕЛЕННЫМ  КРИТЕРИЯМ 

2.3.1.  Оценка  максимального  правдоподобия.  Функция 
правдоподобия  выборки  размером  п для  заданных  выбороч- 
ных значений  хи  . . .,  хп  является  функцией  неизвестного 
параметра  Ф [см.  (2.10)1 

(*і,  . . . , хп  I О)  = П щ (хк-,  О). 

й=1 

Чтобы  подчеркнуть  это  обстоятельство,  введем  новое  обозна- 
чение функции  правдоподобия: 

Іх  (р)  = (хи  | Ф).  (2.53) 

Выберем  в качестве  условной  оценки  неизвестного  пара- 
метра то  значение  переменной  Ф,  для  которого  при  задан- 
ных хи  . . .,  Хп  функция  правдоподобия  Іх  (б)  достигает 
максимума.  Оценка,  удовлетворяющая  указанному  крите- 
рию качества,  называется  максимально  правдоподобной. 

Условие  экстремума  функции  правдоподобия  записывает- 
ся в виде 

= (2.54) 

Практически,  однако,  уравнение  (2.54)  не  используется. 
Простой  математический  прием  упрощает  представление 
этого  уравнения  посредством  исходного  распределения 
щ (х;  б1).  Так  как  логарифм  — монотонная  функция,  то 
экстремумы  функций  Т*  (§)  и 1п  іх  (б1)  достигаются  при 
одинаковых  значениях  аргумента  'б'.  Поэтому  уравнение 
правдоподобия  записывают  обычно  в виде 

д1пІх(&)  _л 
сК>  “ 
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(2.55) 


или  с учетом  (2.10) 


П 


2 


д 1п  щ (хь;  О) 


0. 


(2.56) 


Для  дискретного  распределения  с учетом  (2.10')  полу- 
чаем 


,2.56.) 

к= 1 

Уравнение  правдоподобия  представляет  в общем  случае 
нелинейное  алгебраическое  или  трансцендентное  уравнение, 
которое  может  иметь  много  решений,  соответствующих  отно- 
сительным максимумам  и минимумам  функции  правдоподо- 
бия. Каждое  решение  'б'п  = ^ (*і,  • • •,  хп),  соответствую- 
щее максимуму  функции  правдоподобия,  представляет  оцен- 
ку максимального  правдоподобия  неизвестного  параметра. 
Задача  в этом  случае  состоит  в нахождении  того  решения, 
которое  соответствует  абсолютному  максимуму  (максимуму 
максиморуму)  функции  правдоподобия. 

Если  для  заданного  размера  выборки  п существует  несме- 
щенная эффективная  условная  оценка  ^„дф  параметра 
то  уравнение  правдоподобия  (2.55)  в соответствии  с (2.46') 
может  быть  записано  в виде 


д Іпіз-  (О) 
дѴ 


= к'(Щ  [0„аф-#]  = О, 


где  согласно  (2.47") 

к'  (Ъ)  = /„  (0)  > 0. 

Так  как  — >0  при  #<#пэф  и ~п^)  <0  при 

’Ѳ’  > 'Й’п  эф)  то  отсюда  следует,  что  оценка  максимального 
правдоподобия  равна 

д'п  ~ эф* 

Таким  образом  приходим  к следующему  важному  заклю- 
чению. 

Если  существует  несмещенная  эффективная  оценка  эф, 
то  уравнение  правдоподобия  имеет  единственное  решение, 
равное  Опэф. 
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Если  существует  достаточная  оценка  = § (лу , . . . , хп), 
то  из  (2.28)  и (2.55)  следует,  что  уравнение  правдоподобия 
может  быть  записано  в виде 

діп  !.*($)  діп /[§(*!,  хп),  0]  п 

<50  <50 

Следовательно,  если  существует  достаточная  оценка,  то  каж- 
дое решение  уравнения  правдоподобия  является  функцией 
этой  достаточной  оценки. 

Доказано  (см.  [5,  § 33]),  что  при  некоторых  не  очень 
ограничительных  предположениях  относительно  функции 
распределения  (л:;  •&)  оценка  максимального  правдопо- 
добия состоятельная.  Эта  оценка  асимптотически  несмещен- 
ная и асимптотически  эффективная.  Кроме  того,  при  п 
оо  распределение  оценки  максимального  правдоподобия— 
асимптотически  нормальное  со  средним  значением  й-  и дис- 
персией, равной  обратной  величине  информации  [см.  (2.48)], 
т.  е. 

<2-57> 

причем  Іп  (ѵ)  оо  при  п ->■  оо. 

Подчеркнем,  что  оценка  максимального  правдоподобия 
лишь  асимптотически  несмещенная  и эффективная.  При 
конечном  объеме  выборки  могут,  вообще  говоря,  иметь 
место  и смещение,  и существенное  отличие  дисперсии  оцен- 
ки от  нижней  границы  дисперсии. 

2.3.2.  Приближенное  решение  уравнения  правдоподобия. 
Точного  решения  уравнения  правдоподобия  (2.55)  не  удается 
получить,  как  правило,  простыми  приемами.  В общем  слу- 
чае для  получения  решения  может  быть  рекомендован  сле- 
дующий метод  последовательных  приближений  *). 

Разложим  логарифм  функции  правдоподобия  в ряд 
Тейлора  около  точки  й0  и ограничимся  в этом  разложении 
первыми  тремя  членами: 

Іп  Ьх  (й)  да  Іп  Ьх  (іЭ-о)  + (д  — до)  Іп  Ьх  (й)]#=^  + 

<*)],-..•  (2'58) 

*)  Вариант  так  называемого  итерационного  метода  Ньютона. 
Подробнее  см.,  например:  Б у т Э.  Д.  Численные  методы.  Физ- 
матгиз,  1959,  стр.  187. 
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Из  (2.58)  непосредственно  находим 
зіпі*(0)  г д 


+ <9-®»)  [тдг  Іпі,  №)],, 


+ 


=Оо 


(2.59) 


Примем  в качестве  первого  приближения  решения  урав- 
нения правдоподобия  *)  какую-нибудь  грубую  оценку  ^ 
неизвестного  параметра  0.  Это  может  быть  выборочное 
среднее,  или  выборочная  медиана,  или  какая-либо  иная 
оценка.  Используем  теперь  (2.59)  для  определения  второго 
приближения  Ь2  как  корня  уравнения 


[ж мН.». +<»-*•>  [^ |п  м*>] 


Из  (2.60)  следует: 

а* 


0=ві 


(«л  . 


[цр-1пі* 


= 0. 

(2.60) 

(2.61) 


Заменим  1п  Ьх  (0-)  его  средним  значением  (по  про- 
странству выборок): 

• 1п  Ьх  (О)  « т,  {^-  1п  Ьх  (#) } = 


32 

302 


})  ^ д№  Пп  Ьх  ($)]  Ьх  ('Ѳ')  <іхі  . . . йхп  — 

— оо  — эо 

? е г і зиму, 

д 0 I дФ2  |_/.х(ф)  д Ф ^ ^ ) ^Х{  * ■ ' ^Хп' 


В силу  (2.37) 


5-5 


VI*  (0) 

302 


сіх  і.  . . йхп  = 0. 


(2.62) 

(2.63) 


*)  Здесь  молчаливо  предполагается,  что  функция  правдоподобия 
унимодальна  или  что  первое  приближение  находится  вблизи  глав- 
ного максимума  этой  функции. 
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Тогда  из  (2.62)  получаем 

-§р-  ІП  ({>)  « «1  {^2  ІП  (О)}  = 

= -ту  { [ЭІП^(0)-]2}  = -/»(«).  (2-64) 


Подставляя  (2.64)  в (2.61),  находим  выражение  для  вто- 
рого приближения: 


■§2  = 


Іп  (#і) 


'*(<>)] 


■=0і 


(2.65) 


Следующее  приближение  можно  получить,  подставляя 
в правую  часть  (2.59)  вместо  Фо  величину  Ф2  из  (2.65),  при- 
равнивая ее  нулю  и находя  корень  уравнения  с заменой 
в нем  отрицательной  второй  производной  ее  средним  зна- 
чением — информацией  Іп  (Ф2).  Если  найдено  т-е  прибли- 
жение, то  следующее  приближение  находится  по  формуле 


Ф, 


т+ 1 


ф„ 


і 


Іп  (Ф/п) 


(2.66) 


являющейся  очевидным  обобщением  (2.65). 

2.3.3.  Максимум  апостериорной  плотности  вероятности 
оцениваемого  параметра.  Предположим  теперь,  что  неиз- 
вестный параметр  Ф — случайная  величина,  функция  рас- 
пределения которой  пи  у (Ф).  По  формуле  Байеса  (см.  (2.41) 
в первой  книге)  можно  определить  условную  плотность 
вероятности  параметра  для  заданной  выборки  х4,  . . .,  хп: 

ВМ01*!,  = (2.67) 

)'  (Ф)  (Ф)  М 


Выберем  в качестве  оценки  параметра  то  значение  пере- 
менной Ф,  для  которого  при  заданных  хи  . . .,  хп  апосте- 
риорная плотность  вероятности  оцениваемого  параметра 
максимальна.  Учитывая  замечание,  которое  было  сделано 
при  выводе  уравнения  правдоподобия  (2.55),  можно  урав- 
нение для  оценки,  соответствующей  максимальной  апосте- 
риорной плотности  вероятности,  представить  в виде 

-^г1п[ш1(Ф)Бж(Ф)]  = 0 (2.68) 
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или 


п 


Ж 1п (#)+Й 1п (хн  ! 0)  = 0.  (2.69) 


А=1 


Рассматриваемые  оценки  обладают  свойствами,  схожими 
со  свойствами  условных  оценок  максимального  правдопо- 
добия [9,  §21.1.2].  Если  Ѳ„  Эф  — несмещенная  эффективная 
безусловная  оценка  параметра  6-,  то  уравнение  (2.68) 
имеет  единственное  решение,  равное  Ѳ„  эф.  Оценка,  соответ- 
ствующая максимуму  апостериорной  плотности  вероятности 
оцениваемого  параметра,  при  слабых  ограничениях  состоя- 
тельна и асимптотически  эффективна.  Функция  распределе- 
ния этой  оценки  при  п ->  оо  может  быть  представлена  асимп- 
тотическим соотношением 


(2.70) 


Если  априорное  распределение  параметра  О точно  или 
приблизительно  равномерное  на  некотором  конечном 
интервале,  то  из  (2.67)  следует: 


ИМ<Ч*1,  = АМ<>), 


где  к — константа,  не  зависящая  от  {1. 

В этом  случае  оценки  максимального  правдоподобия 
будут  одновременно  оценками,  соответствующими  максиму- 
мам апостериорной  плотности  вероятности  оцениваемого 
параметра  'в'. 

2.3.4.  Байесовские  оценки.  Точечные  оценки,  полученные 
по  критериям  максимального  правдоподобия  или  макси- 
мальной апостериорной  плотности  вероятности  соответству- 
ют требованиям  специфического  вида  и могут  недостаточно 
полно  отражать  потери,  которые  возникают  в связи  с пло- 
хими оценками.  Действительно,  с каждой  оценкой  = 

§ {хи  ■ • •,  хп),  образованной  на  основании  наблюдаемой 
выборки  Хі,  . . .,  хп,  связана  ошибка,  измеряемая  разностью 
^ Эта  разность  будет  изменяться  от  выборки  к выбор- 
ке: в одном  случае  она  может  быть  невелика,  а в другом  — 
большой.  Для  того  чтобы  учесть  это  обстоятельство,  каждой 
ошибке  приписывают  определенный  вес  и вводят  неотрица- 
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тельную  функцию  потерь  П (рп,  0).  В общем  случае  эта 
функция  может  зависеть  не  только  от  разности  д — д„, 
а от  каждой  из  величин,  указанных  в ее  аргументе. 


л 


Рис.  14.  Функции  потерь: 

/ — простая,  2 — модуль  ошибки,  3 — квадратич- 
ная, 4 — прямоугольная,  5 — экспоненциальная. 


Выбор  вида  функции  потерь  в известной  степени  субъек- 
тивен и зависит  от  конкретной  ситуации.  Наиболее  распро- 
страненными в приложениях  функциями  являются  следую- 
щие (рис.  14): 

простая  функция  потерь  *) 

П-(д„,  0)  = с — б(#„-0),  с>0;  (2.71) 

функция  потерь,  равная  модулю  ошибки 

П(0„,д)  = |О„  — Ф|,  (2.72) 

квадратичная  функция  потерь 

П(0„,  0)  = ($„-  Я)2;  (2.73) 


прямоугольная  функция  потерь 


П (#„,  0) 


-I 


О,  [ тЭ-  — іЭ-„|<е, 

I 1,  |Ф  — Фп|>е; 

экспоненциальная  функция  потерь 

П(&„,  Ф)  = 1—  ехр  [ — &(&„  — О)2]. 


(2.74) 

(2.75) 


*)  Функция  (2.71)  неотрицательна,  за  исключением  точки 

»П=0- 
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Все  приведенные  функции  потерь  являются  симметрич- 
ными функциями  ошибки 

Мерилом  качества  условной  оценки  может  служить 
среднее  значение  потерь  по  всевозможным  выборкам,  учи- 
тывающее частоту  появления  тех  или  иных  выборок,  т.  е. 
функцию  правдоподобия  Ьх  (•&).  Указанное  среднее  значе- 
ние, равное 

г (V)  = т,  {П  (Ьп,  $)}  = 

ОО  оо 

5 • • ■ 5 11  (^1*.  0)1*х(Ъ)(1  А',  • . . сіхпі  (2.76) 

— оо  — оо 

называется  условной  функцией  риска.  Потребуем  теперь, 
чтобы  условная  оценка  ■бу,  минимизировала  функционал 
(2.76).  Оценка,  оптимальная  по  критерию  минимума  услов- 
ной  функции  риска,  называется  условной  байесовской 
оценкой. 

Если  оцениваемый  параметр  Ф — случайный  и щ (Щ  — 
его  функция  распределения,  то,  усредняя  условную  функцию 
риска  по  всевозможным  значениям  ■&,  получаем  так  назы- 
ваемый средний  риск 

оо 

§ “й  (Ф)  г (О)  М.  (2.77) 

— оо 

Подставляя  в (2.77)  выражение  для  г(й)  из  (2.76) 
и учитывая  (2.67),  представим  средний  риск  в виде 

ОО  ОО 

§ ■"  ^ ■ • ■ , Хп)ѴРп(хі:  . . . , Хп)  СІХі  . . . , бЬг„  = 

— оо  — оо 

=■ тЛ->  Хп)},  (2.78) 

оо 

]і^п\хи  . . . , хп)  ---  ^ П(§„,  ■&)  1^(01  АД,  ...,хп)М;  (2.79) 

— оо 

оо 

№п(х и ...,хп)=  ^ щ(Ъ)Іх  (■&)№.  (2.79') 

— оо 

Оценки,  получаемые  по  критерию  минимального  среднего 
риска,  называются  безусловными  байесовскими  оценками 
(или  просто  байесовскими  оценками). 


и — 1 97 
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Байесовская  оценка  при  заданных  функции  потерь  и ап- 
риорном распределении  параметра  О находится  из  условия 
минимума  функционала  (2.78),  зависящего  от  вида  функции 

Зд  = § (Хі,  . . хп).  Так  как  функционал  ^ зависит  от  # 

д§ 

и не  зависит  от  частных  производных  — , то  известное 

в вариационном  исчислении  уравнение  Эйлера  для  опре- 
деления экстремальной  функции  запишется  в виде 

= 0 (2.80) 

при  условии,  что  производная  в левой  части  (2.80)  суще- 
ствует. 

2.3.5.  Простая  функция  потерь.  Запишем  выражение 
условной  функции  риска  при  простой  функции  потерь. 
Подставляя  (2.71)  в (2.76)  и используя  фильтрующее  свой- 
ство дельта-функции  в многомерном  интеграле  (см.  (3.117) 
в первой  книге),  получим 

г(Ѳ)  = С-Т^(0),  (2.81) 

где  — плотность  вероятности  оценки  Од  при  задан- 

ном О.  Для  того  чтобы  Од  была  условной  байесовской 
оценкой  0^,  она  должна  минимизировать  функцию  рис- 
ка г (О),  что  эквивалентно  требованию: 

Ч*(0)>Ч,(0)-  {2.82) 

Последнее  означает,  что  О*  является  условной  оценкой 
максимального  правдоподобия. 

Таким  образом,  условные  оценки  максимального  прав- 
доподобия являются  частным  видом  условных  байесовских 
оценок  при  простой  функции  потерь. 

Подставляя  (2.81)  в (2.77),  находим  также  выражение 
среднего  риска  при  простой  функции  потерь: 

/?  = с — ^ да1(іЭ')Т^і('0')с№',  (2.83) 

— оо 

из  которого  следует,  что  оценка  О*  будет  безусловной 
байесовской  оценкой,  если 

т(&)іъ*(Ъ)>т(Ъ)Цп(Ъ).  (2.84) 
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Таким  образом,  оценка,  соответствующая  максимуму 
апостериорной  плотности  вероятности  [см.  (2.67)],  является 
частным  видом  безусловных  байесовских  оценок  при  простой 
функции  потерь. 

2.3.6.  Квадратичная  функция  потерь.  Условная  функция 
риска  в этом  случае  равна 

оо  оо 

г(д)=  ^ ...  ^ (Ь'п  — $)2Ьх(і})сІх1...сіхп,  (2.85) 

— с»  — оо 

т.  е.  совпадает  со  средним  квадратическим  отклонением 
оценки  от  оцениваемого  параметра  (или  с дисперсией 
оценки,  если  она  несмещенная).  Поэтому  условие  минимума 
функции  риска  г (д)  сводится  к минимизации  т1{(Ь'п  — О)2}, 
т.  е.  к отысканию  эффективной  оценки  (см.  § 2.2.5).  Таким 
образом,  эффективная  оценка  ( условная ) является  условной 
байесовской  оценкой  при  квадратичной  функции  потерь. 
Подставляя  (2.73)  в (2.79),  находим,  что  функционал 
Л (®п  I Хі,  . . .,  хп)  в выражении  среднего,  риска  (2.78) 
при  квадратичной  функции  потерь  имеет  следующий  вид: 

оо 

1*1,  ••■>*„)=  ^ (Ьп  — ®)2№і('&\хи  . . .,  хп)М.  (2.86) 

— оо 

Подставляя  (2.86)  в (2.80)  и разрешая  уравнение  отно- 
сительно неизвестной  функции  Ьп  = §(хи  . . .,  хп),  получим 
искомое  выражение  байесовской  оценки*): 

оо 

К = 8*(х1,  . ..,х„)  = ^ ОГ^іЭ-ІХ),  ...,хп)М  (2.87) 

— оо 

или 

) О'Шл  (Ф)  Ьх  (#)  сір 

Ь*  = т{{® |х„  . . .,  х„}  = -^ . (2.87') 

| (§)  Ьх  (О) 

— оо 

Из  (2.87)  следует,  что  байесовская  оценка  при  квадратичной 
функции  потерь  совпадает  с условным  средним  значением 


*)  Нетрудно  убедиться,  что  (2.87)  соответствует  минимуму 
среднего  риска  Р. 
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оцениваемого  параметра  # при  заданных  выборочных  зна- 
чениях хх,  . . .,  хп. 

Подставляя  (2.87)  в (2.86),  находим  (при  несмещенной 
оценке) 

^*  = ^ (#*  | хи  . . . , хп)  = М2  {0 1 хи  . . . , хп), 

и,  следовательно,  минимальный  (байесовский)  риск  при 
квадратичной  функции  потерь  равен 

Я*  = гпі  {М2  {тЭ  | хи  . . . , хп }}  = М2  {іЭ},  (2.88) 

т.  е.  дисперсии  оцениваемого  случайного  параметра  д. 

В отличие  от  простой  функции  потерь,  для  которой 
байесовская  оценка  определяется  локальными  свойствами 
апостериорной  плотности  вероятности  оцениваемого  пара- 
метра # в окрестности  ее  максимума,  байесовская  оценка 
при  квадратичной  функции  потерь  зависит  от  изменения 
указанной  апостериорной  плотности  во  всем  диапазоне 
изменения  параметра#.  Заметим,  однако,  что  для  унимодаль- 
ной и симметричной  относительно  моды  апостериорной 
функции  распределения  И74(§|  хи  . . . , хп)  байесовская 
оценка  при  квадратичной  функции  потерь  совпадает,  как 
это  следует  из  (2.87),  с оценкой  по  критерию  максимума  апо- 
стериорной плотности,  т.  е.  с байесовской  оценкой  при 
простой  функции  потерь. 

2.3.7.  Функция  потерь,  равная  модулю  ошибки.  Для 

функции  потерь  (2.72)  находим,  что  функция  / (#„  \хи  . . . , хп) 
в выражении  среднего  риска  (2.78)  имеет  вид 

оо 

^(Ь■п\xі,  . . . , хп)  = ^ I #„  — Ф I \Ѵ1  (б- 1 Хи  . . . , хп)  № = 

= § (#п  — #)^1(#|^„  ...,ХП)М  — 

— сю 

оо 

- 5 (#„-#)^і(#|^,  ...,*„)  сГО.  (2.89) 
ёп 

Подставляя  (2.89)  в (2.80),  получим 

‘Зп  оо 

§ нм#І*і хп)м-  55  им#  1*1 хп)сіъ=о 
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или 


5 (0 | *і,  ■ ■ • , хп)  сі&=  § (О  | Хі,  ....  хп)  ЛК  (2.89') 

Из  (2.89')  следует,  что  байесовская  оценка  при  функции 
потерь,  равной  модулю  ошибки,  совпадает  с условной  меди- 
аной оцениваемого  параметра  Ф при  заданных  выборочных 
значениях  хи  . . .,  хп. 

Если  апостериорная  плотность  вероятности  оцениваемого 
параметра  имеет  один  максимум  (унимодальна)  и симметрич- 
на относительно  моды,  то  медиана  и среднее  значение  этого 
распределения  совпадают  и равны  его  моде.  В этом  случае 
байесовские  оценки  при  функции  потерь,  равной  модулю 
ошибки,  и при  квадратичной  функции  потерь  одинаковы 
и совпадают  с оценкой  максимальной  апостериорной  вероят- 
ности. 

2.3.8.  Прямоугольная  функция  потерь.  Для  функции 
потерь  (2.74)  из  (2.79)  находим,  что  функция  / (6п  | х{,  . . . 

■ ■ хп)  в выражении  среднего  риска  (2.78)  имеет  вид 

•I  Фп  | X,,  . . . , хп)  ^ И7!  (г4  | ЛГ4,  . . . , х„)  М + 

— оо 
оо 

+ § ІЕДіЭ'ІХі,  . . .,  хп)  М = 

Оп+Е 

Оп+е 

1-  ^ хп)с№.  (2.90) 

#П-Е 

Подставляя  (2.90)  в (2.80),  получим  следующее  трансцен- 
дентное уравнение  для  определения  байесовской  оценки 
при  прямоугольной  функции  потерь: 

+ хп)  = ѴГі(Ьп-е\х1,  ...,хп).  (2.90’) 

Если  апостериорная  плотность  вероятности  оцениваемого 
параметра  унимодальна  и симметрична  относительно  моды, 
то  единственным  решением  (2.90')  является  такая  оценка 
которая  совпадает  с модой  указанной  апостериорной 
плотности  вероятности.  В этом  случае,  следовательно, 
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байесовская  оценка  при  прямоугольной  функции  потерь 
совпадает  с оценкой,  соответствующей  максимальной  апо- 
стериорной вероятности  (т.  е.  с байесовской  оценкой  при 
простой  и квадратичной  функциях  потерь),  условная  бай- 
есовская оценка  при  этом  является  оценкой  максимального 
правдоподэбия. 

2.3.9.  Симметричная  функция  потерь.  Рассмотрим  произ- 
вольную дифференцируемую  функцию  потерь,  четную  отно- 
сительно ошибки,  т.  е.  удовлетворяющую  условию 

П(Ф„  — ■6’)  = Щй  — &п).  (2.91) 

Предположим,  что  условная  плотность  вероятности  пара- 
метра Ф при  заданных  выборочных  значениях  х,,  . . хп 
унимодальна  и симметрична  относительно  моды.  Из  этого 
предположения  следует,  что  условное  среднее  является 
модой  условной  плотности,  т.  е.  (ф  — тл  {#|  хи  . . . 

. . .,  хп)  \хі,  . . .,  хп)  — четная  функция  аргумента  О — 
— Ші-  Запишем  теперь  выражение  для  производной  функ- 
ционала (2.79): 

оо 

%-■  $ 7*  ІИ  <«-»>!* 

— ОО 

X (б  — т,  {д  | .ѵ,,  . . . , л'п}  | X],  ...,хп)(іЬ.  (2.92) 

Так  как  II  (§  — ■&)  — четная  функция,  то  ее  производная  — 
нечетная  функция  аргумента  § — гТ  Так  как  второй  сомно- 
житель подынтегральной  функции  (2.92)  — четная  функция 

Ф — /ПіІ'О'І  хи  . . .,  хп},  то  величина  тождественно  обра- 
щается в нуль,  если  оценка  — § (*,,  . . .,  хп)  равна 

Ьп  = Ші  {#|.ѵ,,  . . .,  хп },  (2.93) 

потому  что  при  выполнении  равенства  (2.93)  подынтеграль- 
ная функция  становится  нечетной  функцией  относительно 
новой  переменной  интегрирования  т = § — тл{Ь \хи  . . . 

* - - , хп } . 

Таким  образом,  оценка  (2.93)  является  решением  урав- 
нения (2.80)  и,  следовательно,  байесовской  оценкой. 

Сравнивая  (2.93)  с (2.87'),  приходим  к выводу,  что 
байесовская  оценка  при  квадратичной  функции  потерь 
(с  произвольной  апостериорной  плотностью  оцениваемого 
параметра)  является  также  байесовской  оценкой  при  сим- 
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метричной  функции  потерь,  если  апостериорная  плотность 
оцениваемого  параметра  унимодальна  и симметрична  отно- 
сительно моды. 

2.3.10.  Минимаксные  оценки.  Когда  априорное  распре- 
деление щ (р)  неизвестно,  процедура  построения  безуслов- 
ной оценки  случайного  параметра  Ф может  основываться 
на  минимаксном  критерии  качества.  Рассмотрим  семейство 


Рис.  15.  Семейство  кривых  условных  функций 
риска  для  различных  оценок. 


кривых  условных^  функций  риска,  построенных  для  раз- 
личных оценок  (рис.  15).  Минимаксной  называется 
оценка  йлмм,  для  которой  верхняя  граница  значений  услов- 
ной функции  риска  г (й)  не  превосходит  верхних  границ 
значений  функции  (относительно  переменной  О)  при  любых 
других  оценках.  Так  же  как  и минимаксное  правило  выбора 
решения  в альтернативных  ситуациях,  минимаксная  оценка 
дает  уверенность  в том,  что  потери  в среднем  (по  совокуп- 
ности выборок  заданного  размера)  не  будут  больше  неко- 
торой величины  гтіп.  В некоторых  случаях  манимаксная 
оценка  может  оказаться  слишком  осторожной  (см.  рис.  1 
на  стр.  22). 

Как  доказал  А.  Вальд  (см.  стр.  21 — 22),  минимаксная 
оценка  является  байесовской  оценкой  при  наименее  бла- 
гоприятном априорном  распределении  оцениваемого  пара- 
метра, для  которого  средний  риск  (при  заданной  функции 
потерь)  имеет  наибольшую  величину.  Он  же  показал,  что 
байесовская  оценка,  для  которой  условная  функция  риска 
превращается  в константу  (т.  е.  не  зависит  от  0),  представ- 
ляет минимаксную  оценку.  Однако  обращение  этой  функции 
в постоянную  величину  при  небайесовской  оценке  не  озна- 


135 


чает,  что  оценка  минимаксная.  С другой  стороны,  если 
условие  г (#)  — СОП8І  неосуществимо  для  всех  ■0  при  байесов- 
ских оценках,  то  это  еще  не  значит,  что  нельзя  найти  мини- 
максную оценку. 

Из  (2.77)  следует,  что  при  г (#)  = гтіп 

Ктах  = І'тіт  (2.94) 


т.  е.  максимальное  значение  среднего  риска  совпадает  с ми- 
нимальным значением  функции  риска,  если  минимаксная 
оценка  является  байесовской. 

2.4.  СОВМЕСТНЫЕ  ОЦЕНКИ  СОВОКУПНОСТИ 
ПАРАМЕТРОВ 

2.4.1.  Основные  свойства.  Изложенную  выше  теорию 
оценок  можно  распространить  на  те  случаи,  когда  исходная 
функция  распределения  зависит  от  нескольких  неизвестных 
параметров#!,  . . .,  #т.  По  выборке  заданного  размера  п 
из  распределения  (х;  #ь  . . .,  #т)  определяются  т 
функций  выборочных  значений  (условных  оценок) 

#п)  = ёг(і)(л:і,  . - хп),  і=1,  • • • , т,  (2.95) 

в предположении,  что  значения  параметров  #ь  . . .,  #т 
фиксированы,  или  т усредненных  по  априорному  совместно- 
му распределению  иіт  (#’1,  . . .,  #т)  параметров  функций 
(безусловных  оценок) 

оо  оо 

Ѳ'г)  = § ...  § ^(і)  {хл,  . . . , Хп)  Щп  (#!,  . . . , \%п)  . . . Мт. 

— со  — со 

(2.95') 

Каждая  из  условных  оценок  #(„г)  называется  состоятель- 
ной, если  она  при  п -*■  оо  сходится  по  вероятности  к пара- 
метру #г,  и несмещенной,  если  для  любого  п ее  среднее 
по  совокупности  выборок  равно  Аналогично,  каждая 
из  безусловных  оценок  называется  состоятельной,  если 
она  при  п -*■  со  сходится  по  вероятности  к ті  {#,  },  и несме- 
щенной, если  для  любого  п ее  среднее  по  совокупности 
выборок  равно  ті  {#г}. 
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Оценки  (Ху,  . . . , ха),  7=1,  . . . , т,  — совместно 
достаточные,  если  функцию  правдоподобия  выборки 


кх  (Ф)  — {Ху,  ■ • • ! Хп  | 'б'і,  . . . , ’б’т) — П {Хкі  ^іі  • • • і ^т)і 

к= 1 

(2.96) 

■6'=  ($1,  ■ • ■ , 'О'), 


можно  представить  в виде  произведения 

Дс(й)  = /[§-(1)(х і,  хп),  ... 

..  .,  (Хі,  . . .,  хп),  ■&!,  . . . , 7)т]  к (ху,  ...,  хп).  (2.97) 

Пусть  'Й'п)  ==^(і) (Ху,  . . .,  хп)  — несмещенная  оценка  пара- 
метра Оь  7 = 1,  ...,  т.  Рассмотрим  следующие  средние 
по  совокупности  выборок  заданного  размера  п: 

К' 3)  (О'і,  . . . , Ьт)  = ту  1п  (О)  щ 1п  Ьх  (О)}  = 

= -ті{аоГ^71п^(#)}  • <2'98) 


Квадратная  матрица  размером  тхт,  элементы  которой 
равны  Іп’ 3\  называется  информационной  матрицей  Фише- 
ра. Как  следует  из  (2.98),  информационная  матрица  Фише- 
ра является  корреляционной  матрицей  совокупности  зави- 
симых случайных  величин  1п  7.*  (О),  7=1,  т, 


причем  в силу  (2.37)  средние  значения  этих  величин  равны 
нулю. 

Если  детерминант  информационной  матрицы  отличен  от 
нуля,  то  имеет  место  следующее  обобщение  неравенства 
Рао— -Крамера  [см.  (2.41)].  Для  любых  действительных 
иу,  . . . , ит  квадратичная  форма 


3 (2.99) 


= 1 3=1 


где  Ѵп’ 3) — элемент  матрицы,  обратной  информационной 
матрице  Фишера  (т.  е.  равен  отношению  алгебраического 
дополнения  элемента  /„'  в матрице  Фишера  к детерми- 
нанту этой  матрицы). 

Система  оценок  ,б41),  ...,  іЭ4т),  для  которой  в (2.99) 
достигается  равенство,  называется  совместно  эффективной. 
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Если  это  имеет  место  лишь  при  п — > оо,  то  оценки  назы- 
вают совместно  асимптотически  эффективными. 

Элементы  информационной  матрицы  можно  выразить 
через  исходное  распределение 

уп' 3)  (^-  • ■ ■ - Ош)  = пт1  {-щ-  1гш4  (л-;  в,.  . . . , і‘)т)  х 

х ІПКМ*:  Оі.  ■ ■ ■,  От)}  • (2.100) 

Эта  формула  аналогична  (2.43)  и совпадает  с ней  при  т = 1. 

Используя  понятие  корреляционного  эллипсоида 
(см.  приложение  IV),  можно  неравенство  (2.99)  интерпре- 
тировать геометрически:  корреляционный  эллипсоид  любой 
системы  оценок  параметров  всегда  охватывает  эллипсоид, 
уравнение  которого 

т т 

У У Іп’  1)г1г]  = 1.  (2.101) 

і=1  3=1 

Корреляционный  эллипсоид  совместно  эффективных  оце- 
нок совпадает  с эллипсоидом  (2.101).  Отношение  квадрата 
объема  эллипсоида  (2.101)  к квадрату  объема  корре- 
ляционного эллипсоида  (см.  приложение  IV)  может  быть 
названо  эффективностью  совместных  оценок  совокупности 
параметров. 

Рассмотрим  теперь  методы  получения  оценок  совокуп- 
ности параметров  по  определенным  критериям  качества. 

2.4.2.  Метод  моментов.  Этот  метод,  хотя  и не  базируется 
на  четко  сформулированном  критерии  качества,  исполь- 
зуется иногда  вследствие  своей  простоты. 

Если  исходное  распределение  щ,  (х;  (I,,  . . .,  #8)  содер- 
жит $ неизвестных  параметров  и если  существует  момент 
25-го  порядка  этого  распределения,  то  в силу  закона 
больших  чисел  все  выборочные  моменты  до  5-го  порядка 
включительно,  т.  е. 

П 

= * «■  к =- 

І=1 

при  п — >-  оо  сходятся  по  вероятности  к соответствующим 
моментам  исходного  распределения 

оо 

тк  (§„  . . . , §8)  = § хкщ  (х;  сіх. 
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— оо 


Если  приравнять  выборочные  моменты  к моментам  исход- 
ного распределения,  то  получаем  систему  5 уравнений  отно- 
сительно неизвестных  параметров 

тк(®і хі’  й = | 5’  (2-102) 

г-1 

решения  которой 

М!0  . ..,хп),  к=  1,  (2.103) 


определяют  оценки  по  рассматриваемому  методу  моментов. 
При  п оо  эти  оценки  асимптотически  несмещенны,  при- 
чем распределение  их  асимптотически  нормальное  с диспер- 
сией, убывающей  как  ~ . 

Метод  моментов  может  быть  использован  для  любого 
конечного  значения  5>1. 

2.4.3.  Оценки  максимального  правдоподобия.  Выберем 
в качестве  оценок  (условных)  неизвестных  параметров  те 
значения  бу,  . . .,  #т,  для  которых  при  заданных  лу,  . . . 
. . .,  хп  функция  правдоподобия  (2.96)  как  функция  т 
переменных  О,  достигает  максимума.  Условие  экстремума 
записывается  системой  уравнений 

П^  = °.  ' = > т • (2-Ю4) 


Однако,  как  и при  оценке  одного  параметра,  вместо  (2.104) 
используется  следующая  система  уравнений  правдопо- 
добия: 


д 1п  Ьх  (О) 
д&і 


2 -щ-  Іпш,  (хп;  Фт)  = 0, 

к= 1 


1 = 1,  . . . , гп.  (2.105) 

Если  для  параметров  Оу,  ....  существуют  несме- 
щенные совместно  эффективные  оценки  Опѳф,  . . . , Оп "ф , 
то  система  уравнений  правдоподобия  имеет  единственное 
решение,  равное  этим  оценкам. 

При  некоторых  ограничениях  на  функцию  оу  (х;  бу,  . . . 
. . .,  Ош)  решение  системы  уравнений  правдоподобия  при- 
водит к состоятельным  *)  асимптотически  несмещенным 


*)  Если  при  п -*■  оо  с увеличением  размера  выборки  возрастает 
и число  т неизвестных  параметров,  то  оценки  максимального 
правдоподобия  могут  и не  быть  состоятельными  (см.  [2,  § 45]). 

139 


и совместно  эффективным  оценкам,  совместное  распределение 
которых  асимптотически  нормальное  со  средними,  равными 
оцениваемым  параметрам,  и корреляционной  матрицей, 
обратной  информационной  матрице  Фишера. 

2.4.4.  Максимум  апостериорной  плотности  вероятности 
оцениваемых  параметров.  Пусть  неизвестные  параметры 
Фі,  • • 'б'т  представляют  случайные  величины,  совмест- 
ная ПЛОТНОСТЬ  вероятности  которых  Ы)т  (Йь  . . .,  §т). 
Условная  плотность  вероятности  этих  параметров,  когда 
извлечена  выборка  хи  . . .,  хп,  равна 

('б’іі  • • - , '0' т | Хі,  . . . , Х1г)  = 

= - *"и'<<1> . (2.106) 

5 ■■■  5 »...(»! «„)  і,  <»)  ■ • ■ ІОщ 

— ОО  — ОО 

Выберем  в качестве  оценок  (безусловных)  случайных 
параметров  те  значения  переменных  д1;  . . .,  #т,  для 
которых  при  заданных  хіг  . . .,  хп  апостериорная  плот- 
ность вероятности  (2.106)  максимальна.  Эти  значения 
являются  решениями  следующей  системы  уравнений 
[см.  (2.68)  и (2.69)]: 

...,{>пі)1х(і>)\  0 (2.107) 

или 

-Щ-  ІП  ХЮт  (О1!,  . . . , ’О'т)  + 

П 

+ 2 1п  “й  (хк  | Фі,  • ■ ■ , #т)  = о,  і = 1,  ....  т.  (2.108) 

Оценки,  соответствующие  максимальной  апостериорной 
плотности,  обладают  свойствами,  схожими  со  свойствами 
условных  оценок  максимального  правдоподобия,  указан- 
ными в предыдущем  разделе.  Если  ѲІ°,  ....  ©^  — несме- 
щенные совместно  эффективные  безусловные  оценки  слу- 
чайных параметров  #],  . . .,  ®т,  то  эти  оценки  являются 
единственным  решением  системы  уравнений  (2.107). 

В некоторых  случаях  при  т неизвестных  параметрах 
представляет  интерес  оценка  лишь  5<т  параметров, 
остальные  т — з параметров  желательно  вообще  исклю- 
чить из  рассмотрения.  Пусть,  например,  неизвестные  т 
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параметров  перенумерованы  так,  что  подлежащими  оценке 
являются  первые  5 параметров.  Тогда  из  (2.106)  интегри- 
рованием по  переменным  й8+1,  . . .,  і}т  находится  апосте- 
риорная плотность  вероятности  этих  параметров 

11^8  ('О'і.  • • ■ I ’О’а  I Хі,  . . . , Хп)  = 

оо  оо 

— ^ ^ ТД  ( 0 1 ■ • ■ • , ^8,  ^8+1»  ■ • * і I -^1)  • ■ ■ 1 Хп)  X 

х оЮв+1  . . . с№т, 

и далее  для  получения  совместных  оценок  ...,  іІ48) 

максимизируется  условная  функция  (1К,  ...,  Ов  | х1;  . ..,  хп) 
2.4.5.  Байесовские  оценки.  Когда  оценивают  т неиз- 
вестных параметров,  появляются  т ошибок,  каждой  из  ко- 
торых приписывают  определенный  вес.  Функция  потерь, 
учитывающая  последствия,  которые  несут  за  собой  ошиб- 
ки, будет  в общем  зависеть  от  2т  переменных: 

П = П(0‘,1),  #1,  ...,гЧт).  (2.109) 

Иногда  выбирают  в качестве  функции  потерь  сумму  функ- 
ций потерь  определенного  вида  для  отдельных  параметров, 
не  учитывая  при  этом,  что  потери  из-за  ошибок  для  одних 
параметров  более  весомы,  чем  для  других.  Таким  образом, 
могут  быть  аналогично  (2.71)  — (2.74)  введены:  простая 
функция  потерь 


11  = тс-  2 8(Ь(Ѵ-Ъку, 

(2.1 10) 

к=  1 

функция  потерь,  суммирующая  модули  ошибок, 

т 

П=  2 І^-гДІ; 

/і=і 

(2.111) 

квадратичная  функция  потерь 

П=  § (Ь^-ЪиУ. 

(2.112) 

ь=і 


Для  прямоугольной  функции  потерь  [см.  (2.74)]  может 
быть  принят  аддитивный  или  мультипликативный  закон 
комбинирования  отдельных  составляющих.  Соответственно 

т 

П=2д  (2.113) 


141 


или 


где 


ПЛ  = { 


п=  II  п*. 

к=  1 

1,  \Ь(пк)-Ѵк\>г, 

Іо,  |$,Ь)-#*|<е. 


(2.113') 


(2.113") 


Условные  байесовские  оценки  неизвестных  параметров 
Оь  . . ’&т  минимизируют  условную  функцию  риска 

г(і3’1,  . . .,  От)  = 

ос  оо 

= § • • • ^ ЩОІ0,  . . . , Ь(п\  О I , . . . , О,,,)  (О)  СІХі  . . . СІХп . 


— оо  — с» 


(2.114) 

Если  оцениваемые  параметры  случайны,  то  критерием 
качества  служит  минимум  среднего  риска,  т.  е.  минимум 
величины 

Я = ^ ^ (Оі,  . . . , вт)  Г (0,,  . . . , 0т)  Мі  . . . Мт, 

— ОО  — оо 

(2.115) 

которая  может  быть  также  записана  в виде 

/?=  5 ...  5 ^(&п\  ...,^пт)\хи  . . . , Хп)  X 

— оо  — оо 

X 1Е„  (х,,  . . . , хп)  СІХі  . . . СІХп,  (2. 1 1 6) 

где 

і фп\  • • .,  Ь(п1)  I А,,  . . .,  Хп)  = 

= 5 •••  5 Щ#,0,  ...,0'т),  ...,0т)Х 

X №т(®1,  . . .,  ОтІ*!,  . . .,  Хп)М±  . . . й$т,  (2.117) 

№п(Хі Хп)  = ^ ...  ^ Шт(»„  . . ..От)^#)^.  . .Мт. 


1 42 


(2.117') 


Оценки,  удовлетворяющие  указанному  критерию,  назы- 
ваются безусловными  байесовскими  оценками  случайных 
параметров  . . .,  ®т. 

Средний  риск  Я представляет  многомерный  функционал, 

зависящий  от  т функций  (хи  . . .,  хп),  і = 

= 1,  . . п.  Так  как  они  входят  лишь  в выражение  (2. 1 17), 
то  система  уравнений,  определяющих  экстремальные  функ- 
ции функционала  (2.116),  может  быть  записана  в виде 

|^  = 0,  І = 1 т,  (2.118) 

при  условии,  что  производные  в (2.118)  существуют. 

Обобщая  (2.82),  можно  отметить,  что  условные  оценки 
максимального  правдоподобия  неизвестных  параметров 
йд,  . . .,  Фт  являются  частным  видом  условных  байесов- 
ских оценок  при  простой  функции  потерь.  Аналогично, 
обобщая  (2.84),  укажем,  что  безусловные  оценки,  соответ- 
ствующие максимуму  апостериорной  плотности  оценивае 
мых  параметров,  являются  частным  случаем  безусловных 
байесовских  оценок  при  простой  функции  потерь. 

Для  квадратичной  функции  потерь  из  (2.112)  и (2.118) 
следует,  что  байесовские  оценки  имеют  следующий  вид: 

ѳГ  = 55  ...  ^ х%\ѵт  (1%,  . . . , 0т  I Хі хп)  йЬі...  йЪт. 

— оо  — оо 

(2.119) 

Формула  (2.119)  после  интегрирования  по  всем  перемен- 
ным, кроме  'Од,  может  быть  переписана  в виде 

оо 

Ѳ<Г  = § № (Ог  I , хп)Мі.  (2. 120) 

— оо 

Таким  образом,  при  квадратичной  функции  потерь  байе- 
совскую оценку  каждого  из  совокупности  зависимых 
параметров  Од,  . . .,  0т  можно  находить  отдельно,  как 
при  оценке  одного  параметра  [см.  (2.87)1. 

Могут  быть  также  распространены  на  случай  оценки 
совокупности  произвольного  конечного  числа  параметров 
результаты  § 2.3,  относящиеся  к иным  функциям  потерь 
(см.  [9  § 21.2.3]).  Наконец,  не  вызывает  принципиальных 
затруднений  формальное  обобщение  понятия  минимаксных 
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оценок.^  Система  оценок  Ы!\  . . .,  ЫГ}  называется  мини- 
макснои,  если  верхняя  граница  соответствующей  ей  услов- 
ной функции  риска  г (бд,  . . дт)  не  превосходит  верхних 
границ  этой  функции  многих  переменных  при  любой  дру- 
гой системе  оценок. 


2.5.  ОЦЕНКИ  ПАРАМЕТРОВ  НЕКОТОРЫХ 

ОДНОМЕРНЫХ  ФУНКЦИЙ  РАСПРЕДЕЛЕНИЙ 

2.5.1.  Условная  оценка  параметра  экспоненциального 
распределения.  В качестве  примера  однопараметрического 
распределения  рассмотрим  экспоненциальное  распределе- 
ние. Плотность  вероятности  случайной  величины,  подчи- 
няющейся этому  распределению,  имеет  вид  [см.  (1.95)] 

і - — 

од  (х;  #)  = е 0 , 

х>0,  Д>0.  (2.121) 

Среднее  значение  такой  случайной  величины  равно  Ф 
а ее  дисперсия  0“  (см.  задачу  2.1  в первой  книге). 

Функция  правдоподобия  выборки  размером  п с неза- 
висимыми элементами  в соответствии  с (2.10)  равна 

*»|#)  = ^гехр  ( — -і-  ^ *)  ■ (2.122) 

І=1 

Сравнивая  (2.122)  с (2.28),  сразу  же  приходим  к выво- 
ду, что  для  оценки  неизвестного  параметра  Ф экспонен- 
циального распределения  необходимо  располагать  не  каж- 
дым выборочным  значением  в отдельности,  а лишь  их 
суммой 

Я(*і Хп)=  2 (2.123) 

І=  1 

которая  в этом  случае  является  единственной  достаточной 
статистикой.  В силу  ограниченности  дисперсии  экспонен- 
циального распределения  выборочное  среднее  — ^ хг 

в соответствии  с общим  результатом  (2.23)  представляет 
состоятельную  и несмещенную  оценку  среднего  § экспо- 
ненциального распределения. 
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В качестве  иллюстрации  положений,  высказанных 
в § 2.2.4,  заметим,  что  достаточная  статистика  (2.123) 
подчиняет  отношение  правдоподобия 

'<* *"І»Ит)М-(т-і)2*]- 

І=  1 

Воспользуемся  (2.43)  и найдем  информацию  по  Фишеру 
для  экспоненциального  распределения 

О 

со 

= Ж^(^~х)яТе~Т<іх^-  (2-124) 


Кроме  того,  дисперсия  выборочного  среднего  всегда 
(при  независимых  элементах  выборки  размером  п)  в п раз 
меньше  дисперсии  исходного  распределения,  т.  е. 


П 


1=1 


Из  (2.124)  и (2.125)  следует: 


г= 1 


Таким  образом,  выборочное  среднее 


П 


І=1 


(2.125) 


(2.126) 


(2.127) 


является  несмещенной  эффективной  оценкой  параметра  О 
экспоненциального  распределения  (2.121). 

Заметим,  что  производная  логарифма  функции  правдо- 
подобия (2.122) 

Ж1ПІГ/п(*і,  ■ • Л'»|^)=  - + хі  = -фФп—й) 

І=  1 

(2.128) 


в точности  совпадает  с представлением  (2.46)  1с  уче- 
том (2.47")]. 

Легко  убедиться  теперь,  что  выборочное  среднее  (2.127) 
является  единственным  решением  уравнения  правдопо- 
добия 

4г1пИМ*і,  .■■,*В|0)  = О, 

что  соответствует  общему  результату,  отмеченному  в § 2.3. 1 . 

П 

Так  как  случайная  величина -^2  хь  распределена  по 

к=  1 

закону  х2  с 2п  степенями  свободы  (см.  § 1.3.3),  то  этому 

П 

же  закону  следует  и величина  ^ хк.  Тогда  интерваль- 

к=  1 

ная  оценка  [см.  (2.50)]  параметра  экспоненциального  рас- 
пределения может  быть  определена  из  соотношения 

Р {2/г  ( 1 - е2)  < ^ < 2п  ( 1 + е,)}  = у.  (2. 1 29) 

Для  определения  величин  е4  и е2  используем  (2.51),  (2.5Г), 
полагая  = у2  = у — у • Тогда 

= (2.130) 

2 2 

= (2-131) 

2 2 

где  /б  — процентное  отклонение  случайной  величины,  рас- 
пределенной по  закону  х2  с 2п  степенями  свободы. 

2.5.2.  Байесовские  оценки  параметра  экспоненциального 
распределения.  Предположим,  что  параметр  іЭ-  экспонен- 
циального распределения  — случайная  величина,  распре- 
деленная также  по  экспоненциальному  закону  с известным 
параметром  б-0: 

ші(0)  = ^-е  «о,  д>0,  О0>0.  (2.132) 

«О 

Начнем  с байесовской  оценки  параметра  для  простой 
функции  потерь,  которая  является  также  безусловной 
оценкой,  соответствующей  максимальной  апостериорной 
плотности  оцениваемого  параметра.  Эта  оценка  находится 
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из  уравнения  (2.69),  которое  с учетом  (2.122)  и (2.132) 
принимает  следующий  вид: 

П 

хи  = (2.133) 

ь=і 

Из  (2.133)  находим  искомую  оценку: 


®п- 


пдп 


I 


1 + 


пд0  п 


•42  *,-і 


(2.134) 


А=1 


Когда  размер  выборки  неограниченно  увеличивается 
(п  оо). 


(2.134') 


к=  1 


Таким  образом,  среднее  арифметическое  является  асимпто- 
тически байесовской  оценкой.  При  ограниченных  размерах 
выборки  алгоритм  (2.134)  получения  байесовской  оценки 
по  выборочным  значениям  нелинейный. 

К оценке  максимального  правдоподобия  (2.134')  при- 
ходим также  в случае,  когда  'б'0-^"оо>  что  соответствует 
приблизительно  равномерному  распределению  параметра  0. 

Определим  теперь  байесовскую  оценку  для  квадратич- 
ной функции  потерь,  используя  (2.87).  Так  как  в рас- 
сматриваемом случае 

^ехрЬ(^+І2  **)} 

ИМОІ-Кі.  •••.*»)=  — = , 

«л  5)  щгехр  {_  (^+т  2 Хк) } м 

О Й=1 


то  искомая  байесовская  оценка,  равная  условному  сред- 
нему, имеет  вид 


О 


п 


оо  п 

о й=і 


о 


п 


(2.135) 
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Так  как 


°°  _ / , _а2  \ 

5 х~п&  Ѵ х ’ сіх  = Кп-і  (2а),  (2.1 36) 

о 

где  Кт  (г)  — функция  Бесселя  второго  рода  от  мнимого 
аргумента,  то  из  (2.135)  имеем 


Из  сравнения  (2.137)  с (2.134)  видно,  что  байесовские 
оценки  при  простой  и квадратичной  функциях  стоимости 
существенно  различны,  как  и следовало  ожидать,  ввиду 
того,  что  условное  распределение  (2.132)  несиммет- 
ричное. 

2.5.3.  Условные  оценки  параметров  нормального  распре- 
деления. В качестве  примера  совместной  оценки  нескольких 
параметров  одномерного  распределения  рассмотрим  оценки 
среднего  а и.  дисперсии  о3  -<  сю  нормального  распределе- 
ния. Функция  правдоподобия  выборки  размером  п с неза- 
висимыми элементами  для  указанного  распределения  рав- 
на согласно  (2.10) 

П 

Мф  о2)  = ЦгехР[—^г2  (^-а)2]  = 

(2ла3)2  і=| 


П П 

= Цг  ехР  { — 25*-  [2  Хі  -2 а^Хі  -I-  па2]  } . (2.138) 

(2ла2)2  І=1  І=1 


Сравнивая  (2.138)  с (2.97),  непосредственно  приходим 

П П 

к выводу,  что  2 хі  и 2 хі  представляют  совместно  доста- 

І=1  і=і 

точные  статистики  параметров  нормального  распределения. 
В силу  ограниченности  дисперсии  и общих  соотношений 
(2.23)  и (2.25),  справедливых  для  любых  распределений, 
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выборочное  среднее 


а = ёі(хі,  V х , 


п 

і=  1 


(2.139) 


и выборочная  дисперсия,  умноженная 


на 


п—  1 ’ 


! = ^2  (*і,  ■ ■■^п)  = ~ у V (Хі-а) 2 (2.140) 


І=1 


представляют  соответственно  состоятельные  и несмещенные 
оценки  среднего  и дисперсии  нормального  распределения. 

Определим  элементы  информационной  матрицы  Фишера. 
В соответствии  с (2.98),  учитывая  (2.138),  получаем: 

!п'ѵ(а,  о2)  — піі  {[-^«(а,  а2)]2}  = 

/п ’2)  (а,  о2)  = /<2,1)  (а,  о2)  = 

= {~да^х  (а’  лД' (а,  о3) | = 

1 {І2  (^-«)  [г5г2  (^-а)2— 2^-]} 

і=1  Й=1  ^ 

Я’ю«*.  а3)  = ті{[-^Іж(а,  о2)]2}  = 

= Щ {[2^2  (Хк-а)2--^*]  } = 2^- 


= т. 


= 0, 


Таким  образом,  информационная  матрица  имеет 


0 


2а4 


вид 


(2.141) 


Детерминант  этой  матрицы  равен 


сіеіі 


2ав 


т>0, 
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а элементы  матрицы,  обратной  информационной, 


У (2,2) 


2 о4 
л 


П1'2,  = у«2,1,==0 

С другой  стороны,  дисперсии  и ковариация  оценок  (2.139) 
и (2.140)  равны: 

М2{ог2)  = /п1  {[^2  (**-а)2-02]2}  =^, 

І=  1 


т4  {(а  — а)  (а2  — а2)} 


П 

{(а  — а)  [2  (х;  — а)-ц(а-а)2]}  =0. 

І=  1 


Подставляя  полученные  выражения  в (2.99),  находим 


2ст4 

л (л  — 1) 


■о, 


т.  е.  оценки  (2.139)  и (2.140)  не  являются  совместно  эффек- 
тивными. Корреляционный  эллипсоид  этих  оценок,  кото- 
рый описывается  уравнением 

г?  г| 

о2К  + 204/(л—  1)  = ’ 


не  совпадает, 
(см.  (2.101)] 


а охватывает  информационный  эллипсоид 


,2 

гі 

а2/л 


2<т4/л 


= 1. 


Найдем  оценки  максимального  правдоподобия.  Подстав- 
ляя (2.138)  в (2.105),  получаем  систему  уравнений  прав- 
доподобия 

П 

^2  (хк-а)  = 0,  (2.142) 

к= 1 
п 

^5-2  (хй-а)2-^-  = 0.  (2.142') 

Ь=1 
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Из  первого  уравнения  следует: 

П 

(2-143) 

Л= 1 

т.  е.  оценкой  максимального  правдоподобия  среднего  нор- 
мальной случайной  величины  является  выборочное  сред- 
нее. Заметим,  что  уравнение  (2.142),  по  существу,  не  зави- 
сит от  второго  параметра  а2  нормального  распределения. 

Сравнение  М2  {а}  с /(/ ’ 1 } показывает,  что  выборочное 
среднее  является  несмещенной  эффективной  оценкой  сред- 
него нормальной  случайной  величины. 

Из  второго  уравнения  (2.142'),  подставляя  вместо  а 
величину  а,  находим  оценку  максимального  правдоподобия 
дисперсии: 

П 

= (-Ѵ/і  — а)2  = М*.  (2.144) 

к=  1 


Таким  образом,  оценкой  максимального  правдоподобия 
дисперсии  нормальной  случайной  величины  является  выбо- 
рочная дисперсия.  Эта  оценка  состоятельная,  смещенная, 

причем  согласно  (2.84)  смещение  равно 

Ьп(о2)=~~.  (2.145) 

Дисперсия  оценки  (2.144) 

ЛЫЛ4!}  = ^-(1_1)  . (2.146) 


Нижняя  граница  дисперсии  оценок  параметра  а2  нормаль- 
ной случайной  величины  в соответствии  с неравенством 
Рао  — Крамера  равна 


44з  {о“}?піп 


п 


(2.146') 


Из  (2.146)  и (2.146')  следует,  что  эффективность  оценки 
максимального  правдоподобия  дисперсии  нормальной  слу- 
чайной величины  равна 


{ч2 ' тіп і 1 

м2№)  ~ “ТГ  ■ 


(2.147) 
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Таким  образом,  оценка  (2.144)  не  эффективная,  а только 
асимптотически  эффективная,  в соответствии  с общими 
свойствами  оценок  максимального  правдоподобия,  отмечен- 
ными выше. 

Заметим,  что  при  известном  априори  среднем  оценка 
максимального  правдоподобия  дисперсии  нормальной  слу- 
чайной величины  имеет  вид  [см.  (2.142')] 


І = 3г2  (ЛТ-«)2. 


(2.148) 


к=  1 


Эта  оценка,  как  отмечалось  в § 2.2.3,  несмещенная,  а дис- 
персия ее  равна 


М2{о*}  = 


2а4 


(2.148') 


т.  е.  величине,  обратной  информации  Іп'2\  Таким  образом, 
при  известном  среднем  оценка  максимального  правдоподо- 
бия дисперсии  нормальной  случайной  величины  эффек- 
тивная. 

До  сих  пор  рассматривались  точечные  оценки  (услов- 
ные) параметров  нормального  распределения.  Теперь  иссле- 
дуем интервальные  оценки  этих  параметров. 

Начнем  с интервальной  оценки  среднего  нормальной 
случайной  величины  в предположении,  что  второй  пара- 
метр о2  известен  точно.  В качестве  точечной  оценки  сред- 
него принимаем  выборочное  среднее  (2.139).  Вводя  норми- 
рованную ошибку  оценки 

а~а  (2.149) 


/ 


ТІ 

п 


определим  вероятность  того,  что  абсолютное  значение 
этой  ошибки  не  превосходит  заданной  величины  еѵ: 

Р { | е | < еѵ}  = у.  (2.150) 

Из  (2.149)  непосредственно  следует,  что  нормированная 
ошибка  оценки  среднего  представляет  нормальную  случай- 
ную величину  с нулевым  средним  и единичной  дисперсией. 
Поэтому  (2.150)  можно  переписать  в виде 

2Р  (еѵ) — 1 = у (2.151) 

или 

е„ 


— X 1 

У 


_у_’ 
' 2 
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(2. 151') 


где  Р (х)  — - интеграл  Лапласа,  а x^  ѵ — процентная  точка 

Т_Т 

нормального  распределения  (см.  приложение  I). 

Последние  два  уравнения  содержат  связь  между  длиной 
доверительного  интервала  2еѵ  для  нормированной  ошибки 
и коэффициентом  доверия  у.  Первое  из  них  используется 


Рис.  16.  Построение  доверительного 
интервала. 


для  определения  у,  если  задано  еѵ,  а второе  — для  опреде- 
ления еѵ,  когда  дано  у.  Доверительный  интервал  для  оце- 
ниваемого параметра  а может  быть  представлен  неравен- 
ствами Ісм.  (2.149)  и (2.150)] 

а"-еѵ|/ « С а + еѵ  ~ . (2.152) 

Связь  между  й и а геометрически  представляется  двумя 
прямыми,  параллельными  биссектрисе  координатного  угла 

и отсекающими  на  оси  а величины  ±еѵ]Х—  (рис.  16). 

Для  определения  нижней  и верхней  границ  доверительного 
интервала  необходимо  спроектировать  на  ось  абсцисс 
точки  пересечения  этих  прямых  с прямой  а = сопзТ 
Рассмотрим  интервальную  оценку  среднего  нормальной 
случайной  величины,  когда  дисперсия  ее  неизвестна.  В ка- 
честве точечных  оценок  среднего  и дисперсии  используем 
несмещенные  оценки  (2.139)  и (2.140).  Так  же  как  и в пре- 
дыдущем случае,  введем  нормированную  ошибку  оценки. 
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Отличие  будет  состоять  в том,  что  для  нормировки  исполь- 
зуется оценка  о2,  так  как  точное  значение  о2  неизвестно. 
Таким  образом,  в качестве  нормированной  ошибки  оценки 
среднего  выбираем  величину  *) 


( 


(2.153) 


которая  представляет  отношение  двух  независимых  случай- 
ных величин:  нормальной  (а  — а)  _1/”  (с  нулевым 
средним  и единичной  дисперсией)  и случайной  величины 
(-^2  ] - распределенной  как  у (причем  х 2 имеет 

( п — 1)  степень  свободы).  Распределение  этого  отношения 
совпадает  с распределением  Стьюдента  с (п—  1)  сте- 
пенью свободы.  Поэтому  плотность  вероятности  нормиро- 
ванной ошибки  записывается  в виде 

5-‘ М = ѵфщ  7(Ыу  ( ■ 1 + „4т)  1 ■ (2.154) 

При  увеличении  размера  выборки  п первые  два  сомножи- 
теля в (2.154)  приближаются  к (2л)_1/2,  а последний  — 
к е-*2/2,  так  что  функция  зп(х)  асимптотически  стремится 
при  п -*■  оо  к плотности  нормированного  отклонения  нор- 
мальной случайной  величины 

5п(*)~Т7^е“Т-  (2.154') 

Таким  образом,  для  больших  размеров  выборки  можно 
и при  неизвестной  дисперсии  использовать  формулы  (2.151), 
(2.151'),  что  и следовало  ожидать,  если  иметь  в виду  состоя- 
тельность оценки  а2.  Однако  для  небольших  п распределе- 
ние Стьюдента  заметно  отличается  от  нормального  (рис.  17). 

Учитывая  симметрию  распределения  Стьюдента,  запи- 
шем вероятность  того,  что  абсолютное  значение  нормиро- 


*)  Обозначение  I введено  по  существующей  в статистике  тра- 
диции. 
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ванной  ошибки  не  больше  заданной  величины  іу,  в виде 

Ч 

р(И<М  = 2 § зп-1(х)(іх  = у.  (2.155) 

О 

В приложении  III  приведена  таблица  значений  Іу, 
удовлетворяющих  соотношению  (2.155)  при  значениях  п 
и у,  изменяющихся  в широких  пределах.  Последняя  строка 
в таблицах  соответствует  нормальному  распределению 


Рис.  17.  Распределения: 

нормальное;  — Стьюдента  при  п = 2. 

(п  = оо),  и значение  (а  следовательно,  и длина  довери- 
тельного интервала)  в этой  строке  наименьшее  для  каж- 
дого фиксированного  у.  Более  широкий  доверительный 
интервал,  который  получается  при  одинаковых  размерах 
выборки  и коэффициенте  доверия  по  сравнению  с преды- 
дущим случаем  (известной  дисперсии),  является  платой 
за  неполную  информацию  о величине  дисперсии  а2  при 
оценке  среднего  а. 

Доверительный  интервал  для  оцениваемого  параметра 
представляется  теперь  неравенствами  [см.  (2.153)  и (2.155)] 

а~Ч  V ~<а<11  + 4 V ~ • (2.156) 

В заключение  рассмотрим  вопрос  о построении  довери- 
тельного интервала  для  неизвестной  дисперсии  о3  нормаль- 
ной случайной  величины.  В качестве  точечной  оценки 
дисперсии  примем  несмещенную  оценку  (2.140).  Случай- 
ная величина 

^“2  (■*=*)'  (2., 57, 

6=1 
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распределена  по  закону  х2  с п — 1 степенями  свободы. 
Выберем  в качестве  нижней  и верхней  доверительных 
границ  величины  Е4а2  и е2а2.  Вероятность  того,  что 


Рис.  18.  Определение  доверительных  гра- 
ниц для  дисперсии  нормальной  случайной 
величины. 


доверительный  интервал  с указанными  границами  накроет 
параметр  а2,  равна 

Р {е,а2  < о2  < е2а2}  = 


еі 


V- 

(2.158) 

Выберем  величины  е4  = = и е2  = — ^ из  условия 

Хз 


(рис.  18) 


XI 


р {Х2  <ХІ}  = Р {Х2  > ХІ)  = 1~2І 


что  равносильно 


ХІ  = Х2і  ѵ . Х\  = Х\  , ѵ ■ 


(2.159) 

(2.159') 


2 2 


2 1 2 


Таким  образом,  доверительный  интервал  для  дисперсии 
нормальной  случайной  величины,  соответствующий  коэф- 
фициенту доверия  у,  определяется  неравенствами 


— о2  < о2  < — — а2.  (2.160) 

Л 1 ѵ Л 1 ѵ 

*2  2~ 


В приложении  II  дана  таблица  процентных  точек  Хе 
ха-квадрат  распределения. 
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2.5.4.  Метод  наименьших  квадратов.  Пусть  производятся 
измерения  некоторой  физической  величины  х,  зависящей 
от  некоторой  другой  величины  г,  и пусть  функциональная 
зависимость  х = / (г;  аІУ  а2,  . . ■)  известна,  за  исключе- 
нием некоторых  параметров  аіу  а2,  ■ ■ . Предположим,  что 
результаты  измерений  хІУ  . . хп  представляют  незави- 
симые нормальные  случайные  величины,  средние  значения 
которых  равны  / (гі;  а„  а2,  / (2г;  аи  а2,  . . .), 

а дисперсии  одинаковы  и равны  о2  (равноточные,  несме- 
щенные измерения).  Необходимо  воспользоваться  резуль- 
татами измерений  для  полного  определения  функциональ- 
ной зависимости  между  физическими  величинами  х и г. 
Совместная  функция  распределения  результатов  измере- 
ния (функция  правдоподобия)  равна 

Ма,,  а2,  ...)  = Цр  ехр{-~х 

ап  (2л)  2 

П 

хУ  [хк  — /(г*;  а,,  а2,  . ..)]2}.  . (2.161) 

Потребуем,  чтобы  значения  неизвестных  параметров 
аіу  а2,  ■ . ■ были  такими,  которые  для  заданных  результа- 
тов измерений  хи  . . .,  хп  максимизируют  функцию  (2.161). 
Это  равносильно  условию  минимума  величины 

П 

2 [Хк—І(гк;  аи  а2,  . . .)]2, 

которое  используется  в классическом  методе  наименьших 
квадратов. 

Значения  параметров  аІУ  аъ  ...  находятся  из  системы 
уравнений 


2 І*к-Нгк\  аи  а2,  . . . )] 

к=  і аі 


О,  /==  1,  2,  ... 


(2.162) 

Если  зависимость  между  физическими  величинами  х и г 
линейная , т.  е. 


то 


х = а{г  а2, 

д[(гк;  о,,  а,)  _ д[  (гк;  а,,  а2) 
да{  ’ да2 


(2.163) 

(2.163') 
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а система  уравнений  (2.162)  перепишется  в виде 
2 (хк  — аігк  — а2)гк  = О, 

к=  1 

2 (хк  — а{гк  — а2)  = О, 

к=\ 

(2.164) 
(2.164') 


откуда  следует: 


а2  = т*{х}  — й1(2), 

- — т?{л:}<2> 

(г2)  — (г)2 


где  т*{х),  т*  {Аг}  — выборочные  средние  случайных  вели- 
чин х и хг,  а 

П П 

(г)=422ь  <г2)  = 42г?- 

г=  1 г=  і 


Таким  образом,  метод  наименьших  квадратов  дает  следу- 
ющую линейную  зависимость  между  физическими  величи- 
нами х и 2 по  данным  измерений: 

а-  - т*  {х}  = - <г2)_<г)2— - (г  - (г)) • (2.1 65) 

Формула  (2.165)  представляет  уравнение  эмпирической 
прямой  средней  квадратической  регрессии  (см.  (4)  в при- 
ложении V). 

2.5.5.  Байесовские  оценки  параметров  нормального  рас- 
пределения. Начнем  с того  случая,  когда  дисперсия  нор- 
мального распределения  о2  известна  точно,  а среднее  пред- 
ставляет нормальную  случайную  величину  с параметрами 
(а0,  а;;),  т.  е. 

(я-ар)г 

®і(а)  = — ^е  20і  . (2.166) 

а0  у 2л 


Найдем  оценку,  соответствующую  максимуму  апостериор- 
ной плотности  вероятности  оцениваемого  параметра  о, 
которая  согласно  (2.84)  является  частным  случаем  байесов- 
ской оценки  при  простой  функции  потерь.  Используя  (2.69), 
получим  уравнение  для  определения  оценки 


д — д о 


■^2  (**  — а)  = 0, 

&=і 
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откуда 


п 


(2.167) 


Оценка  (2.167)  представляет  среднее  взвешенное  двух 

п 

величин:  оценки  максимального  правдоподобия  — ^ хк 

и априорного  среднего  значения  а0  оцениваемого  параметра, 
причем  отношение  веса,  приписываемого  второй  величине, 

к весу  первой  равно  ~ , т.  е.  отношению  дисперсии 

оценки  максимального  правдоподобия  к априорной  дисперсии. 

Апостериорная  плотность  вероятности  параметра  а для 
заданной  выборки  равна 


Г,,аЦ„  Ѵъ*  (<+В 

х“р{-Й(‘+и)  > 


1/2 


X 


X 


[“-■лѴ  (т2*  + ^)]*}.  (2-168) 

^ по%  к~1 


к 


сто 

а 


При  л— >оо  плотность  вероятности  (2.168)  стремится 

П 

дельта-функции  При  данном  п и 

Л=1 

> оо  параметры  нормальной  функции  распределения 


(2.168)  приближаются  к , а при  ~ » а20 

(2.168)  переходит  в (2.166).  * * 

Нетрудно  также  убедиться,  что  правая  часть  (2.167) 
в точности  совпадает  с условным  средним  оцениваемого 
параметра,  т е.  с величиной  т1  { а | хи  . . .,  *„}.  Отсюда 
следует,  что  (2.167)  является  байесовской  оценкой  также 
и,  при  квадратичной  функции  потерь,  что  соответствует 
общему  результату,  указанному  в § 2.3.6  (так  как  распре- 
деление^ (2.166)  симметрично  относительно  своей  един- 
ственной моды  а - а0).  Из  § 2.3.8  также  следует,  что 
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указанная  оценка  является  байесовской  при  симметричной 
функции  потерь. 

Заметим,  что 

П 

<*“2**’  (2Л69) 

к=  1 


когда 


(2.169') 


Условие  (2.169')  выполняется,  если  при  фиксированном 
неограниченно  увеличивается  размер  выборки  п 

или  если  при  данном  п величина  а2  > о2.  Первое  озна- 
чает, что  байесовская  оценка  (2.167)  асимптотически  при 
п оо  переходит  в оценку  максимального  правдоподобия. 
Второе  условие  можно  трактовать  следующим  образом: 
распределение  кц  (а)  неизвестного  параметра  приблизи- 
тельно равномерное  при  сопоставлении  его  с исходным 
распределением  щ {х\  а).  По  этой  причине  оценка  (2.167) 
при  а2  > а2  переходит  в оценку  максимального  правдо- 
подобия, что  и отмечалось  в общем  виде  в конце 
§ 2.3.3. 


Отметим  также,  что  в противоположном  случае,  когда 
дисперсия  исходного  распределения  а2  много  больше,  чем 
па2,  из  (2.167)  следует  асимптотическое  соотношение 


о — а0, 


т.  е.  выборочные  значения  никак  не  влияют  на  оценку, 
которая  принимается  равной  среднему  значению  оценивае- 
мого параметра. 

Подсчитаем  величину  среднего  риска  при  квадратичной 
функции  потерь.  Подставляя  (2.167)  и (2.168)  в (2.79), 
получаем 

•І(а\х"  ■ ■ ■ • Хп ) = V 2^  ( 1 + П7§)  х 

оо 

X 5 (а- а)2ехр  { ( 1 +^§)  (а-а)*}  = 
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т.  е.  рассматриваемый  функционал  представляет  постоян- 
ную величину.  Далее  из  (2.78)  находим 


(2.170) 


Максимальное  значение  среднего  риска  соответствует  слу- 
чаю, когда  сг0->-  оо,  т.  е.  равномерное  распределение  (в  ука- 
занном выше  смысле)  параметра  а наименее  благоприят- 
ное и 


(2.171) 


Для  этого  распределения  находим  функцию  риска  под- 
становкой (2.169)  в (2.76)  с учетом  независимости  х,  и хк 
при  і =/=  к\ 


П оо  оо 


г (а)  — п2  ^ § • ■ ■ § (Хь  — а)2  Ьх  (а)  сіХі  - . . йх 


А— 1 — оо  — оо 


(2.172) 


Из  (2.172)  следует,  что  функция  риска  при  этом  не  зависит 
от  оцениваемого  параметра  и ее  величина  совпадает  с мак- 
симальным значением  среднего  риска. 

Таким  образом,  выборочное  среднее  является  также 
и минимаксной  оценкой  среднего  нормальной  случайной 
величины  при  точно  известной  ее  дисперсии  и квадратичной 
функции  потерь. 

Рассмотрим  теперь  байесовскую  оценку  дисперсии  а2 
нормального  распределения  при  условии,  что  среднее  а 
известно  (положим,  что  а = 0).  Зададим  априорное  рас- 
пределение дисперсии  по  экспоненциальному  закону  с па- 
раметром о2: 


О 2 


“'і  (°2)  = -^-е 
а0 


(2.173) 


Найдем  оценку,  соответствующую  максимуму  апостериор- 
ной плотности  вероятности  оцениваемого  параметра  а2 
Используя  (2.69),  получаем 


п 
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откуда 


2 


(2.174) 


При  по\— > оо  из  (2.174)  следует: 


П 


(2.175) 


Таким  образом,  при  неограниченном  увеличении  раз- 
мера выборки  или  при  фиксированном  п по  мере  того, 
как  априорное  распределение  (2.173)  приближается  к рав- 
номерному, оценка  дисперсии,  соответствующая  максимуму 
апостериорной  плотности,  асимптотически  стремится  к выбо- 
рочной дисперсии,  т.  е.  к оценке  максимального  правдо- 
подобия. 


Байесовская  оценка  для  квадратичной  функции  потерь 
равна  [см.  (2.87)1 


а2  = т± {сг2 1 л-!,  . . .,  хп}  = 


о 


і=1 


(2.176) 


оо 


П 


П 


Используя  (2.136),  приводим  (2.176)  к виду 


(2.177) 
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Как  и при  оценке  параметра  экспоненциального  распре- 
деления, отсутствие  симметрии  апостериорной  плотности 
вероятности  дисперсии  приводит  к тому,  что  байесовская 
оценка  (2.177)  при  квадратичной  функции  потерь  отличает- 
ся от  байесовской  оценки  (2.174),  соответствующей  про- 
стой функции  потерь. 


2.6.  ОЦЕНКА  ОДНОМЕРНОЙ  ФУНКЦИИ 
РАСПРЕДЕЛЕНИЯ 

2.6.1.  Критерии  согласия.  В предыдущих  разделах  этой 
главы  изучались  методы  оценок  неизвестных  параметров 
распределения  случайной  величины  в предположении,  что 
функциональная  форма  закона  распределения  известна. 
Часто,  однако,  ситуация  такова,  что  подобное  предполо- 
жение неоправданно:  какая-либо  априорная  информация 
о виде  указанного  закона  отсутствует.  Необходимо,  рас- 
полагая выборочными  значениями,  сделать  статистический 
вывод  относительно  вида  функции  распределения,  из  кото- 
рого извлечена  выборка. 

Один  из  принципиальных  путей  решения  этой  задачи 
указывает  теорема  Гливенко  (см.  § 2.1.1),  согласно  кото- 
рой эмпирическая  функция  распределения  Р*  (х)  сходится 
по  ^ вероятности  к гипотетической  функции  Ру(х),  если 
выборка,  по  которой  построена  эмпирическая  функция, 
извлечена  из  Р 4 (х).  Но  эта  теорема,  устанавливая^факт 
асимптотического  приближения  У7*  (х)  к Уд  (х)  при  п-у  о о, 
не  дает  возможность  для  выборки  конечного  размера  п 
установить,  с какими  вероятностями  могут  возникать 
отклонения  эмпирического  распределения  от  гипотетиче- 
ского. Для  этого  следует  прежде  всего  ввести  количествен- 
ную меру  соответствия  гипотетического  и эмпирического 
распределений,  или,  как  говорят,  критерий  согласия. 
Этот  критерий  представляет  число  А (У7*,  Ру),  которое 
является  функционалом  от  эмпирического  Р*  и гипотетиче- 
ского Ру  распределений. 

Сформулированная  выше  задача  решается  в следующей 
последовательности.  По  выборочным  значениям  х1г  . . . 

• • •>  хп  строится  по  формуле  (2.1)  эмпирическая  функция 
распределения  Р*  (х).  На  основании  этого  эмпирического 
распределения,  а возможно  и других  соображений,  выдви- 
гается гипотеза  о том,  что  выборка  извлечена  из  распре- 
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деления  Рх  (х).  По  принятому  заранее  критерию  согласия 
необходимо  вычислить  А (Г*,  р)  и вероятность  того,  что 
указанная  величина  превосходит  некоторый  порог  Л0. 
Для  этого  необходимо  распределение  А (Р*,  Рі).  Опреде- 
лить такое  распределение  в относительно  простой  форме 
удается,  как  правило,  лишь  при  больших  размерах  выбор- 
ки (точнее,  удается  определить  лишь  асимптотическое 
распределение  при  п о о).  Если  распределение  величины 
А (Р*,  Рі)  известно,  то,  задаваясь  вероятностью  а (уровнем 
значимости  критерия)  того,  что  А > А0,  находим  порог  Д0. 
При  достаточно  малом  а получаем  хорошее  правило  про- 
верки гипотезы  об  истинности  гипотетического  распределе- 
ния Рі  (х):  если  для  данной  выборки  А > А0,  то  гипотеза 
отвергается,  а в противоположном  случае  — принимается. 
При  этом  вероятность  отвергнуть  правильную  гипотезу 
будет  равна  уровню  значимости  (см.  гл.  1,  стр.  27). 

Заметим,  что  распределение  величины  А (Р*,  Рі),  опре- 
деляемое при  условии,  что  выборочные  значения  х1;  . . . 

. . .,  хп,  по  которым  построена  Р*,  извлечены  из  Ри  зави- 
сит, вообще  говоря,  от  Рх.  Было  бы  желательно  иметь  такие 
критерии  согласия,  распределения  которых  не  зависели  бы 
от  вида  гипотетической  функции  Рі  (х).  Подобные  критерии 
называют  непараметрическими  (см.  § 1.5.3).  Рассматри- 
ваемые ниже  частные  виды  критериев  согласия  являются 
асимптотически  (при  п —*■  оо)  непараметрическими. 

Следует  также  иметь  в виду,  что  выбранный  каким- 
либо  образом  критерий  согласия  дает  при  достаточно 
малом  уровне  значимости  а хорошее  правило,  позволяющее 
отвергнуть  неверную  гипотезу.  Частота  отклонения  истин- 
ной гипотезы  в длинной  последовательности  принятия 
решений  будет  равна  а.  При  этом,  однако,  остается  неиз- 
вестной частота  ошибок  другого  рода  — принятия  неверной 
гипотезы.  Если  для  данной  выборки  А < А0,  то  хотя 
принятое  правило  предписывает  утверждать  истинность 
выдвинутой  гипотезы,  следует  к этому  утверждению  отне- 
стись более  осторожно:  с точки  зрения  заданного  критерия 
согласия  нет  основания  считать,  что  наблюдаемые  выбо- 
рочные значения  не  согласуются  с гипотетическим  распре- 
делением. 

Недостатком  критериев  согласия  является  произволь- 
ность выбора  самого  критерия  и уровня  значимости,  а так- 
же трудности,  связанные  с определением  их  распределений 
для  конечных  размеров  выборки.  Другой  путь  состоит 
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в непосредственном  построении  оценки  неизвестной  функ- 
ции распределения  по  выборочным  значениям  без  выдви- 
жения гипотезы  о виде  этой  функции  (сглаживание  эмпири- 
ческой функции  распределения). 

2.6.2.  Критерий  л:и-квадрат.  Этот  критерий  является 
одним  из  наиболее  распространенных  в приложениях  кри- 
териев согласия. 

Разобьем  область,  где  определена  гипотетическая  функ- 
ция распределения  Р1  (х)  случайной  величины  на  конеч- 
ное число  неперекрывающихся  интервалов  Дь  і = 1, 

• ■ /.  Обозначим 

і 

Рі  = Ел  = 1.  (2.178) 

І=1 


Пусть  в выборке  хи  ...,  хп  число  выборочных  значений, 
попадающих  в интервал  Д равно  ѵ*.  Ясно,  что 

ѵ 

2.  Ѵі  = п. 

г=1 

Примем  в качестве  критерия  согласия  величину 


і і 


(2.179) 


Как  доказал  Пирсон  (см.  [5,  § 30.1]),  если  проверяемая 
гипотеза  об  истинности  распределения  Гі  (х)  верна,  то  при 
п —г  оо  распределение  критерия  (2.179)  асимптотически 
приближается  к '/^-распределению  с / — 1 степенями  сво- 
боды, не  зависящему  от  вида  гипотетического  распределе- 
ния Рх  ( х ). 

Пусть  /й  процентное  отклонение  случайной  величи- 
ны, имеющей  ^-распределение  с / — 1 степенями  свободы, 
т.  е.  Р {/2>/а}  = а (см.  приложение  II).  При  а доста- 
точно малом  и большом  объеме  выборки  величина  Д,  вычис- 
ленная согласно  (2.179),  практически  никогда  не  будет 
превосходить  порог  %%,  если  только  гипотеза  о виде  рас- 
пределения, из  которого  извлечена  выборка,  верна.  Таким 
образом,  выбирается  следующее  правило  проверки  гипо- 
тезы: гипотеза  отклоняется,  если  Д > и принимается, 
если  Д </а-  Вероятность  отклонить  верную  гипотезу 
равна  а. 

Кроме  отмеченных  выше  общих  недостатков  критериев 
согласия  рассмотренный  критерий  /2  обладает  еще  одним 
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существенным  недостатком,  связанным  с произвольным 
разбиением  области  возможных  значений  случайной  вели- 
чины на  интервалы  А,,  которое  не  связано  со  спецификой 
функции  і7!  (х)  и соответствующим  группированием  выбо- 
рочных значений. 

2.6.3.  Критерий  Колмогорова.  Согласно  этому  критерию 
количественной  мерой  соответствия  служит  для  заданного 
размера  п выборки  максимум  по  всем  значениям  х модуля 
отклонения  эмпирического  распределения  от  гипотетиче- 
ского, т.  е. 

А = шах  | Р*  (х)  — Т7!  (х)  |.  (2.180) 

Я 

Как  доказал  А.  Н.  Колмогоров  (см.  [4],  § 62]),  если  про- 
веряемая гипотеза  об  истинности  К,  (х)  верна,  то  при 
п —*•  оо  и дополнительном  предположении  непрерывности 
Рі  (х),  функция  распределения  величины  *)  А У п асимпто- 
тически приближается  к 

Р { А У~п  < г)  ~ к (а)  = § (-  1)'{  е-2А2г2,  г>0.  (2.181) 

к=— оо 

Функцию  к (г)  можно  переписать  в виде 

к (г)  = 1 — 2 2 ( — І)'1"1  е~2к*г2,  г>0.  (2.182) 

к=1 

С другой  стороны,  записывая  к (г)  в виде 

к(г)=  2 е~2  (2й)2г2  — 2 е-2  (2й+і)2гг 

к=  — оо  к=  — оо 

и используя  формулу  суммирования  Пуассона 
2 Л(А)=  2 ^ Н(х)е2лікх йх, 

к = — оо  к=  — оо  — оо 


*)  Рассматриваемая  функция  распределения  может  быть  представ- 
лена в виде  [12] 


ОО 

Р{лУп<г}=  2 (-1)*е-2*гг2[і 

к=— оо 


2 к2х 
3 Уп 


+ 0 
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(2.183) 


можно  эту  функцию  представить  в виде 


к (г) 


' — ■ 

у 2л 

“Г" 

к=1 


Л2  (2Й-1)2 
822 


Формулу  (2.182)  удобно  использовать  при  г>  1,  а (2. 183)  — 
при  2 < 1 . 

Если  сс  — заданный  уровень  значимости,  то  из  (2.182) 
следует: 

Р{А>Аа}  = Р{АѴп>Аау-п}~1-к(АаУп)  = 

= 2 Д (—  1)'!_1е_2;!гпЛ“,--а  (2.184) 


или  в другом  виде,  используя  (2.183), 

оо  л2(2Ь-1)2 

р{ А > Аа}  ~ % е 8пЛ“  =а.  (2.185) 

А гу  1/  П 
“ ѵ к= 1 

Ряд  в (2.184)  сходится  быстро,  и в качестве  первого  при- 
ближения часто  можно  ограничиться  только  первым  его 
членсм,  т.  е. 

2е~2п4“  = а (2.186) 

или 

А“=/І1п4-  (2.186') 

^Правило  проверки  гипотезы  таково:  если  для  наблюдае- 
мой выборки  А > Да,  то  гипотеза  о том,  что  выборка 
извлечена  из  гипотетического  распределения,  отвергается; 
если  имеет  место  противоположное  неравенство,  то  гипо- 
теза принимается.  Таблица  значений  функции  к (г)  при- 
ведена в [4].  Как  и критерий  критерий  Колмогорова 
используется,  когда  размер  выборки  очень  большой.  Одна- 
ко при  использовании  этого  критерия  не  требуется  пред- 
варительного разбиения  на  интервалы  и группирования, 
как  это  было  в случае  критерия  %а. 

Заметим,  что  при  заданном  уровне  значимости  ос  гипоте- 
тическая функция  распределения  полностью  заключена 
в полосе,  границы  которой  задаются  уравнениями 

у = Г*  (*)  + д 


167 


и 


у=г:(х)-а. 

2.6.4.  Критерий  Мизеса.  Согласно  этому  критерию  коли- 
чественной мерой  соответствия  служит  для  заданного  раз- 
мера п выборки  среднее  значение  квадрата  отклонения 
эмпирического  распределения  от  гипотетического 

Д = ^ [Р*(х)  — Р1(х)]2щ(х)(1х,  (2.187) 

— оо 

где  ѵоі  ( х ) = Р[  (х)  — гипотетическая  плотность  вероятно- 
сти случайной  величины.  Подставляя  (2.1)  в (2.187)  и инте- 
грируя, представим  величину  А в виде  *) 

+ (2.187') 

к=  1 

Нетрудно  показать  [3],  что 

"В{Л}  = -^,  =ТЩГ-  (2.188) 

Выражение  точного  распределения  величины  пД  очень 
сложное,  но  при  п > 40  оно  близко  к некоторому  пре- 
дельному. Как  и критерий  Колмогорова,  критерий  Мизеса, 
в отличие  от  х2>  не  связан  с группированием  выборочных 
данных,  и его  распределение  достаточно  быстро  при  увели- 
чении размера  выборки  приближается  к предельному. 
Ниже  приведено  несколько  процентных  точек  этого  пре- 
дельного распределения: 


У 

0,5 

0,4 

0,3 

0,2 

0,1 

0,05 

гу 

0,1184 

0,1467 

0,1843 

0,2412 

0,3473 

0,4614 

V 

0,03 

0,02 

0,01 

0,001 

гѵ 

0,5489 

0,6198 

0,7435 

1,1679 

*)  Часто  в этом  случае  вместо  А используют  обозначение  со2 
и критерий  согласия  называют  критерием  со2. 
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2.6.5.  Принадлежность  двух  выборок  одному  и тому  же 
распределению.  Предположим,  что  имеются  две  выборки 
(х1;  . . .,  хп)  и (уи  . . .,  ут ) с независимыми  элементами, 
каждая  из  которых  принадлежит  некоторому  распределе- 
нию. Представляет  интерес  проверить  гипотезу  о том,  что 
обе  эти  выборки  принадлежат  одному  и тому  же  распре- 
делению. Пусть  Р*х  (2)  и Р*ѵ  (г)  — эмпирические  функции 
распределения,  построенные  по  указанным  выше  выборкам. 
В качестве  критерия  согласия  примем  величину 

Д тах  | Р*іх  (2)  - Р\у  (г)  |.  (2. 189) 

2 

Как  доказал  Н.  В.  Смирнов  (см.  [4,  § 63]),  при  п-^оо 

і_ 

Р{д(±  + _1_^2>г}~1-к(г),  (2.190) 

где  к (2)  — функция,  определенная  согласно  (2.182). 

Если  а — заданный  уровень  значимости,  то  аналогично 
(2.186')  можно  в первом  приближении  подсчитать  порог 

<2190') 

и сформулировать  правило  проверки  гипотезы:  выборки 
принадлежат  одному  и тому  же  распределению,  если 
Л<Ла. 

Другой  критерий,  предложенный  Вилькоксоном,  осно- 
ван на  подсчете  числа  инверсий.  Для  этого  обе  выборки 
располагают  в виде  одного  вариационного  ряда  (см.  § 2.1.1) 

Уі>  У2,  Хі,  у з,  х2,  ■ . . 

Если  в этой  последовательности  заданному  Хі  предшествует 
5 элементов  выборки  уи  у 8,  то  имеет  место  5 инвер- 

сий. Общее  число  инверсий  I]  равно  сумме  инверсий,  обра- 
зуемых всеми  элементами  первой  выборки  с элементами 
второй.  Правило  проверки  гипотезы  по  критерию  Виль- 
коксона  состоит  в сравнении  общего  числа  инверсий  с поро- 
говым числом,  определяемым  заданным  уровнем  значи- 
мости. 

Можно  показать  (см.  [2,  стр.  357]),  что  при  т ф п > 20 
и т > 3 с хорошим  приближением  можно  считать  распре- 
деление общего  числа  инверсий  нормальным  с параметрами 

М2{П}.- ^-(т  + п+1).  (2.191) 
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Тогда  пороговое  значение  Ѵа  числа  инверсий  для  заданного 
уровня  значимости  а определяется  по  формуле 


= у + + 1),  (2.192) 


где  ха  — процентное  отклонение  нормальной  случайной 
величины.  Если  вычисленное  по  заданным  двум  выборкам 
значение  V превосходит  11  а,  то  гипотеза  о том,  что  эти 
выборки  принадлежат  одному  и тому  же  распределению, 
отклоняется. 

Может  использоваться  и двухпороговый  вариант  крите- 
рия Вилькоксона,  для  которого  критическая  область  зна- 
чений 1 /,  когда  отклоняется  указанная  выше  гипотеза, 
определяется  двумя  порогами: 


ы ан  — ~ у 


+ Х^У^  ~(щ  + п+\).  (2.193') 


2 


2.6.6.  Оценка  функции  распределения.  Если  д4,  ... 
. . .,  хп  — выборка  с независимыми  элементами  из  неиз- 
вестного распределения  с плотностью  іѵ,  (д),  то  для  оценки 
этой  плотности  может  быть  использована  следующая  функ- 
ция (рис.  19): 


П 


(2.194) 


2 Х$ 


Х6  X 


Рис.  19. _ Построение  оценки  функции  рас- 
пределения. 
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где  К (у)  — произвольное  ядро  аппроксимации,  удовлетво- 
ряющее условиям 

оо 

®<К(у)<оо,  Пт  уК(у)  = 0,  \ К(у)сІу=\,  (2.194') 

— оо 

И 


Ііт  Н (п)  = 0 (2.194") 


Доказано  (см.  [15,  171),  что  оценка  (2.194)  состоятельная 
и асимптотически  несмещенная.  Выбор  вида  ядра  К (у) 
может  быть  подчинен  некоторым  дополнительным  усло- 
виям оптимальности  оценки.  В некоторых  случаях  можно 
рекомендовать  гауссовское  ядро 


к (у) 


—■=.  е 

у2к 


Если  вид  распределения  гг»!  (х)  известен,  но  неизвестны 
его  параметры,  то  для  оценки  функции  распределения 
можно  использовать  функцию  гг»і  (х),  параметры  которой 
представляют  оценки  неизвестных  параметров,  получен- 
ные по  выборочным  значениям.  Например,  для  оценки 
нормальной  плотности  с неизвестными  параметрами  может 
быть  использована  функция 

(х— а)  2 

и>1(*)  = -7=±==е~~2*~,  (2.195) 

V 2ла2 

где  а,  о2  — оценки,  определяемые  согласно  (2.139)  и (2.140). 


2.7.  ОЦЕНКИ  ПАРАМЕТРОВ 
МНОГОМЕРНОЙ  ФУНКЦИИ 
РАСПРЕДЕЛЕНИЯ 


2.7.1.  Обобщение  основных  определений  на  многомерные 
распределения.  Все  предыдущее  изложение  было  связано 
с теорией  оценок  распределения  одной  случайной  величи- 
ны. Практический  интерес  представляют  также  оценки 
многомерных  распределений  или  их  параметров  для  сово- 
купности зависимых  случайных  величин  . . .,  В па- 
раметрической теории  вид  многомерной  функции  распре- 
деления этой  совокупности  известен  и оцениваются  лишь 
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неизвестные  параметры,  в непараметрической  теории 
оценке  подлежит  сама  функция  распределения.  В любом 
случае  «сырьем»  для  статистических  выводов  является 
выборка  из  многомерного  распределения.  В отличие  от  одно- 
мерного случая,  элементом  такой  выборки  (размером  п) 
является  не  одно  число,  а N чисел 

-Т 1 /і , Х2&,  • ■ • , 3 у/, , к,  = 1 , . . . , И . 

Иначе,  элемент  выборки  из  многомерного  распределения 
можно  представить  вектором  х&,  имеющим  указанные  ком- 
поненты, а саму  выборку  — прямоугольной  матрицей  раз- 
мером N X п: 

Х = ||  ^11- 

Функция  правдоподобия  выборки  из  Л' -мерного  распре- 
деления представляет  функцию  п векторных  аргументов, 
причем  параметры  этой  функции  представляют  матрицы 
(в  частном  случае  векторы),  элементами  которых  являются 
неизвестные  параметры  многомерного  распределения  сово- 
купности случайных  величин.  Для  независимых  элементов 
многомерной  выборки 

МО)=  II  Хт\  К ....  0га),  (2.196) 

Й=1 

где  \Ѵ  N — функция  распределения  совокупности  случайных 
величин  5і,  • • -,  і#. 

По  выборке  X определяются  5 выборочных  матриц  (или 
векторов),  зависящих  от  выборочных  векторов  хь  . . .,  х„, 

Мг  = ^(х  і,  х„),  і = 1,  ...,  5,  (2.197) 

в предположении,  что  параметры  распределения  1КЛ-  фикси- 
рованы. Эти  выборочные  матрицы  (вектора)  представляют 
условные  оценки  матриц  М ■,  (векторов),  элементами  которых 
являются  неизвестные  параметры  дь  . . .,  д'тп. 

Если  параметры  распределения  случайны  и известно 
их  совместное  априорное  распределение,  то  могут  быть 
определены  безусловные  оценки. 

Каждая  из  условных  оценок  М,-  [см.  (2.197)]  назы- 
вается состоятельной,  если  при  п оо  она  сходится 
по  вероятности  к М;.  ОценкаМ/  называется  несмещенной, 
если  для  любого  п ее  среднее  по  совокупности  векторных 
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выборок  равно  М;.  При  этом  следует  иметь  в виду,  что 
под  средним  значением  случайной  матрицы  (вектора)  пони- 
мается матрица  (вектор),  элементы  которой  равны  средним 
значениям  элементов  случайной  матрицы  (вектора).  Подоб- 
ным же  образом  обобщается  и понятие  совместно  доста- 
точных оценок.  Для  этого  скалярные  аргументы  в (2.97) 
заменяются  векторными.  Информационная  матрица  Фишера 
Ід  представляет  блочную  матрицу,  элементами  которой 
являются  матрицы 


....  М8)-/л,  {^1пІх(М)~-1пЬх(М)}  , 


(2.198) 


і,І  1,  . . .,  5. 


Оценки  максимального  правдоподобия  получаются  из 
системы  уравнений 


д 1п  ьх  (М) 

Щ 


О,  І - 1,  . . . , 5. 


(2.199) 


Аналогично,  оценки,  соответствующие  максимуму  апосте- 
риорной плотности  вероятности  оцениваемых  параметров, 
равны 


д 1п  іл)3  (М|,  . . . , Мя) 


д 1 п ЬХ(М) 

Щ 


(2.199') 


2.7.2.  Оценки  вектора  средних  и корреляционной  матрицы 
многомерного  нормального  распределения.  Прежде  чем 
вводить  байесовские  оценки  параметров  многомерного 
распределения,  проиллюстрируем  указанные  выше  обоб- 
щения на  примере  ^-мерного  нормального  распределения. 
Запишем  плотность  вероятности  этого  распределения  в век- 
торной форме  (см.  (2.57)  в первой  книге): 


И7.ѵ  (X)  Х-1 ехр  [ — I (*'  - а')  М_1  (х  — а)]  , 

(2л)  2 УЗёГм 


(2.200) 


где  а — вектор  средних  значений,  М — корреляционная 
матрица. 

Пусть  хь  . . .,  х„  — независимые  выборочные  ^-мер- 
ные векторы  из  приведенного  нормального  распределения. 
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Функция  правдоподобия  (2.196)  выборки  равна 
(а,  М)  = Д ИР*  (Хй;  а,  М)  = 


к=  1 


пN 

~ 


и 

1Г  ехр  [ — т 2 (хь  - а)' М_1  (х'<  - а)]  • 


(2л)  2 (сіеі  М) 


й=  1 


Введем  вектор  выборочных  средних 


< = — Ц хй 


к=  1 

и выборочную  корреляционную  матрицу 

м*  = т2  (**- т*)(Хй  — т*)'. 

к=1 

Можно  показать,  что  (см.,  например,  [1,  § 3.2]) 
2 (хй  — а)'  М 1 (хй  — а)  = 

Й=1 

= іг  {пМ~т*)  + п (т*  - а)'М_1  (т*  - а), 


(2.201) 

(2.202) 

(2.203) 


(2.204) 


где  символом  (г  обозначен  след  матрицы  *). 

Подставляя  (2.204)  в (2.201),  представим  функцию 
правдоподобия  в виде 


(а,  М): 


п/Ѵ  п 

(2л)  2 (<Ы  М)  2 


X 


< ехр  [ — у « (т*  — а)'  М"1  (т*  — а)  ^ 
X ехр  ^ — ~ (г  (лМ_1М*^  . 


X 


(2.205) 


Из  (2.205)  следует,  что  т*  и М*  представляют  совместно 
достаточные  оценки  вектора  средних  и корреляционной 


*)  Следом  квадратной  матрицы  А = [|а;у||  называют  сумму  ее 
диагональных  элементов  (гЛ  = 2а^.  Иногда  используют  другое 


обозначение  вида  зрЛ. 
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матрицы  многомерного  нормального  распределения.  Эти  же 
оценки  являются  оценками  максимального  правдоподобия. 
Оценка  а = т*  — несмещенная  и эффективная.  Оценка  М* 
смещенная,  так  как 

т1{М*}=  (і— 1)  М.  (2.206) 

Поэтому  несмещенной  оценкой  корреляционной  матрицы  М 
является  величина 

П 

М = 7Г^тМ*-^т2  (х*-т;)(хк-т?)'.  (2.207) 

к=  1 

Эффективность  оценок  а и М (т.  е.  отношение  объемов 
информационного  и корреляционного  эллипсоидов)  равна 
/гг  — 1 \ ЛН/Ѵ+1) 

I п ) 2 • 

2.7.3.  Байесовские  оценки  параметров  многомерного 
распределения.  Обобщая  (2.109),  введем  функцию  потерь 
для  оценки  матриц  (векторов)  многомерного  распределения 

П = П(М4,  ...,  М„  М„  ...,  М,).  (2.208) 

Условные  байесовские  оценки  минимизируют  условную 
функцию  риска 

оо  оо 

г (м4,  . . . , м8)  = ^ ^ п (мь  . . . , м„  м„  ...,  та) х 

X 7-х  (Щйхі- . .Лхп,  (2.209) 

Если  оцениваемые  параметры  М,,  . . .,  М5  случайны,  то, 
вводя  их  априорное  распределение  ію3  (Мь  . . .,  М8),  запи- 
шем величину  среднего  риска 

оо  оо 

/?=  ^ ...  ^ ю3(мі>  •■■>  м5)г(  М1;  ....  Ма)Мі..  .М8. 

— оо  — оо 

(2.210) 

Безусловные  байесовские  оценки  получаются  минимиза- 
цией матричного  (векторного)  функционала  (2.210). 

2.7.4.  Замечание  относительно  оценки  многомерной 

функции  распределения.  Критерии  согласия  для  много- 
мерных распределений  не  исследовались.  Естественным 
образом  может  быть  обобщена  на  многомерный  случай  фор- 
мула (2.194)  для  оценки  неизвестной  плотности  вероятно- 
сти {хи  ■ • х„). 
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П^сть  хь  . . . , \п  векторы  выборочных  значений, 
принадлежащих  указанному  распределению,  и хік , . . ! 
• ■ ■>  хяк  — компоненты  к- го  вектора.  Если  хк  и х\  при 
к Ф I независимы,  то  в качестве  оценки  может  быть 
использована  функция 


^ N (Х\, 


А'дг)  : 


;г2  ПктыфЧфг]-  (2-2П) 


І=1  3=1 


где  Кі(у)  ядро  аппроксимации,  удовлетворяющее  усло- 
виям (/  = I,  . . N) 

°<  К}(у)<  оо,  Пт  у К]  {у)  ---  О, 

У~+±  оо 
оо 

К]  {у)  сіу=\,  \\тк]  (п)  = 0.  (2.21  Г) 

п~>°° 

Оценка  (2.211)  состоятельная  и асимптотически  несме- 
щенная. 


Задачи 

^'} • Доказать,  что  выборочные  среднее  и дисперсия  нормальной 
случайной  величины  независимы.  Обобщить  этот  результат  на  много- 
мерное нормальное  распределение  и доказать,  что  вектор  выборочных 
средних  значений  не  зависит  от  выборочной  ковариационной  матрицы. 


Рис.  20.  Определение  минимального  доверитель- 
ного интервала. 


2.2.^  Показать,  что^при  заданном  коэффициенте  доверия  у мини- 
мальный доверительный  интервал  для  неизвестной  дисперсии  нор- 
мальной случайной  величины  определяется  из  условия  (рис.  20) 


И7!  (у)  > с, 
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(1) 


[■де  ^1М7ПЛ0ТН0СТЬ  веР°я™°сти  х2  с л-1  степенями  свободы 
[см.  (/.іо/)],  а константа  с определяется  из  условия 


Е2 

§ й7!  (у)  Лу  = у, 

Еі 


(2) 


где  еі  и е2  — проекции  на  ось  абсцисс  точек  пересечения  кривой 
2=»7і  (У)  с прямой  г = с [см.  (2.158)]. 

2.3  [14].  Пусть  произведено  к групп  независимых  в совокупности 
наблюдений,  результатом  которых  являются  к выборок  размерами 
пі<  • ■ • > пк  из  непрерывных  распределений  Рц  (х),  ( = 1,  к Про- 
веряется гипотеза  о том,  что  Ри  (х)  = Р1  (х)  для  всех  і,  и выбирается 
в качестве  критерия  согласия  величина 


К I 

Д=  шах  [2 

— оо<х<оо  Г 


(3) 


где 


р*  _ 
г О — 


2 пір*і(х) 

І=і 

к 

і=1 


(4) 


Рц(х)  — эмпирическая  функция  распределения,  построенная  по  і-я 
выборке.  Показать,  что  при  щ,  ...,  пд  — > со 


Р{А<г}  ~ к*  (г) 


°°  іЛ_3 
•у  Из 

— ' [Д-з(Ма 

8-1  — 


1 (V) пл 

>[ 


к-  1 
2 


X 


А _ 

ІІІ 

2г^  ’ 


г >0, 


(5) 


где  — 8-й  положительный  нуль  функции  Бесселя  ^к_3(г).  Убе- 

2 

диться,  что  при  к—  2 


•<2  И = к (г) ; 


V 2л 


2 ехр[- 


л2  (28—1): 
8г2 


г>0.  (6) 


2.4.  Пусть  т — число  наступлений  события  при  п независимых 
испытаниях,  в каждом  из  которых  вероятность  этого  события  равна  р. 
Используя  неравенство  Чебышева,  доказать,  что  для  произволь- 
ного е )>  0 


'іні р|| ~р  <4=1. 

71— изо  ^ | іі  ) 


! 2-197 


(7) 
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2.5  [7].  Необходимо  оценить  линейную  функцию  неизвестных 
параметров  а &,  6=1,  т, 


а = 2 ВкЯк  (8) 

к—1 

— известные  величины)  по  выборочным  значениям  N случайных 
величин  лг1э  . Хіѵ,  средние  значения  которых  равны 

т 


щ 2 *=1>  (9) 

Й=1 


а дисперсии  ограничены  (известны  с точностью  до  постоянной,  т.  е. 

С у2 

М2{х^}  = - — , где  а2  — неизвестно,  а Х-*  — известно). 

Показать,  что  оценка  вида 

771 

о = 2 (1°) 

Й=1 

где  а& — оценка  параметра  аь,  полученная  методом  наименьших 
квадратов  (см.  § 2.5.4),  в классе  линейных  несмещенных  оценок 
имеет  минимальную  дисперсию  (даже  если  случайные  величины 
хІУ  ...,  не  подчиняются  нормальному  закону  распределения). 

2.6.  Дисперсия  о2  нормальной  случайной  величины  известна, 
а ее  среднее  значение  а распределено  по  экспоненциальному  закону 


а 

ш,(а)  = — е “°  , а>  0,  а0>0. 

ао 


(П) 


Показать,  что  байесовская  оценка  параметра  а при  простой  функции 
потерь  равна 


1 хт  сг2 

па* 


к=  1 


а при  квадратичной 


акв~апр+1^  [р  ( ^Р)]  ' 


и пр 
2о2 


(12) 


(13) 


где  Р (х)  — функция  Лапласа.  Убедиться,  что  оценка  (12)  при  простой 
функции  потерь  соответствует  оценке  максимальной  апостериорной 
плотности  вероятности  параметра  а и асимптотически  при  п — со 
совпадает  с оценкой  максимального  правдоподобия,  а оценка  (13) 
при  квадратичной  функции  потерь  указанными  свойствами  не 
обладает. 
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ГЛАВА 

ТРЕТЬЯ 


СТАТИСТИКА  СЛУЧАЙНЫХ  ПРОЦЕССОВ 


3.1.  ДВА  СПОСОБА  ПРЕДСТАВЛЕНИЯ 
СЛУЧАЙНОГО  ПРОЦЕССА 

Существуют  два  различных  подхода  к определению 
случайного  процесса  (см.  § 4.1.2  в первой  книге).  Если  для 
характеристики  вероятностных  свойств  случайного  процес- 
са | (/)  ограничиваются  конечномерной  функцией  распре- 
деления (хі,  . . .,  Хдг,  Ц,  . . .,  іу),  то  случайный  про- 
цесс, по  существу,  отождествляется  с совокупностью  N 
случайных  величин  = | (Ц),  . . .,  |л-  = е (/л-),  которые 
в общем  представляют  совокупность  зависимых  случай- 
ных величин.  Выбор  моментов  Ц,  . . .,  произвольный. 
Например,  если  задан  интервал  наблюдения  ( —Т , Т),  то 

можно  положить  іи  — 2^д,  ^ Т , к = 1,  . . .,  N . Результат 

наблюдения  над  случайным  процессом  представляется  в рас- 
смотренном случае  выборкой  из  многомерного  распределе- 
ния Р х (см.  § 2.7. 1). 

Другой  подход,  сохраняющий  всю  вероятностную  инфор- 
мацию о случайном  процессе,  состоит  в рассмотрении  сово- 
купности его  реализаций  как  функций  времени  і.  Вероят- 
ностной мерой,  заданной  на  множестве  реализаций,  являет- 
ся характеристический  функционал  случайного  процесса 
[см.  (4.9)  в первой  книге] 


Ѳ[ц(Ц]  = Щі  |ехр[і  ^ ѵ (0^(0^]}  - 


где  ѵ ( і ) — некоторая  непрерывная  функция  и интеграл 
сходится  в среднеквадратическом. 

При  таком  подходе  результат  наблюдения  над  случайным 
процессом  представляется  конечным  числом  его  усеченных 
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реализаций 

Іт: ’(/)={ 


Е(й)(0. 

О, 


\І\ <Т, 

\і\>Т, 


к = \,  2, 


Во  многих  случаях  для  получения  статистических  выво- 
дов о характеристиках  случайного  процесса  целесообразно 
(когда  это  оказывается  возможным)  представить  случайный 
процесс  в виде  суммы  квазидетер минированных  случай- 
ных процессов  (см.  стр.  171  первой  книги).  Случайные 
параметры  (не  зависящие  от  времени)  слагаемых  называют 
иногда  координатами  случайного  процесса.  Выбор  этих 
координат  не  однозначен  и зависит  от  конкретных  условий 
задачи. 

Рассматривают  два  вида  координат,  широко  используе- 
мых в технических  приложениях  теории  случайных  про- 
цессов. 1)  отсчетные  значения  процесса  с ограниченным 
энергетическим  спектром,  2)  некоррелированные  коорди- 
н зты. 


3.2.  ОТСЧЕТ  В ДИСКРЕТНЫЕ  МОМЕНТЫ 
ВРЕМЕНИ 


3.2.1.  Теорема  Котельникова  (прямая).  Рассмотрим 
детерминированную  функцию  / (I),  спектр  (преобразование 
Фурье)  2 (со)  которой  непрерывный  и ограничен  полосой 
частот  (—  А,  А),  т.  е.  представляет  непрерывную  финит- 
ную функцию  частоты,  равную  нулю  при  | со  |>Д: 

Л 

= І 5 2(ш)е‘“‘Лв.  (3.1) 

-Л 

Финитную  функцию  2 (со)  можно  представить  рядом  Фѵрье 
на  интервале  ( — О,  О)  при  условии,  что  <2>Д: 

°°  2л  іп 

2Н=  V с,іе~НйГм, 

П==  — оо 

где 

1 р 2ліп 

Сп==2й  ^ 2(со)е  2У  Жо  = 

-я 

і 2ліп 

= ■»  $гМе=““^1Итг) 

— А 


(3.2) 


(3.2') 
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Ряд  в правой  части  (3.2)  является  периодической  функцией 
частоты  с периодом  2П,  которая  совпадает  с 1 (со)  лишь 
на  основном  интервале  периодичности  (—  й,  й)  и не  сов- 
падает на  остальных  (+Ш,  ± (к  + 1)  й),  к>\.  Под- 
ставляя (3.2)  в (3.1)  и учитывая  (3.2'),  получим 


Й>Д.  (3.3) 


Выражение  (3.3)  представляет  интерполяционную  фор- 
мулу, при  помощи  которой  можно  по  отсчетам  значений 
функции  / в дискретные  моменты  времени  с частотой  2Й> 
>2Д  восстановить  точно  все  значения  / (і)  на  оси  времени 
от  — оо  до  оо. 

При  минимально  возможной  частоте  отбора  2Й  = 2Д 


Формула  (3.4)  составляет  содержание  известной  теоремы 
В.  А.  Котельникова,  согласно  которой  детерминированная 
функция  / ({),  имеющая  ограниченный  спектр,  полностью 
определяется  своими  дискретными  значениями  в точ- 
ках, расположенных  на  расстоянии  друг  относительно 

друга  *),  где  Д — максимальная  частота  (круговая)  в спек- 
тре функции  / ((). 

Из  (3.4)  следует,  что  / (0  получается  суперпозицией 
последовательности  функций  вида  , каждая  из  кото- 

рых получается  смещением  по  оси  времени  относительно 
предыдущей  на  величину  интервала  отсчета  и умножением 
на  отсчетное  значение  /.  Легко  видеть,  что  каждая  функция 

5Іп  [Д  — ] / [^  (^  — ] в точке  отсчета  I = ~ имеет 

максимум,  равный  единице,  и во  всех  остальных  точках 
отсчета  і = кфп  {к  — целое,  включая  нуль),  она 
равна  нулю. 

*)  Заметим  что  в правой  части  (3.4)  вместо  ^ можно  под- 
ял 

ставить  /о+-д->  где  — любое  фиксированное  число  (см.  задачу  3.4). 
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Заметим,  что  из  ограниченности  спектра  функции  / ( і ) 
следует,  что  сама  функция  [ (і)  не  может  быть  финитной, 
т.  е.  нельзя  указать  интервал  значений  (даже  для  очень 
больших  і ),  на  котором  функция  тождественно  равна 
нулю. 

Если  функция  / (()  задана  лишь  на  конечном  интервале 
времени  (О,  Т),  на  котором  укладывается  N отсчетных 

интервалов,  т.  е.  ~ < Т < ^Ѵ-+1}  л , то,  доопределив  эту 
функцию  вне  интервала  (О,  Т)  таким  образом,  чтобы  при 
п<  0 и п>  N отсчетные  значения  /(-^-)=0,  получим 


для  этого  случая  из  (3.4) 


(3.5) 


где  [ ] означает  наибольшую  целую  часть  числа,  заклю- 
ченного в квадратных  скобках.  При  N > 1 можно  с малой 

2ЛТ 

погрешностью  полагать  N — . 

2л 

По  отсчетным  значениям  функции  / ({)  можно  также 
определить  величину  интеграла  от  ее  квадрата 

оо 

Е=ІР(І)(ІІ  (3.6) 


в предположении,  что  величина  Е ограничена.  Подставляя 
(3.4)  в (3.6)  и учитывая,  что  система  функций 


зіп 

д 1 

Д 

('-т) 

1 

я — 0,  ± 1 , . . . , 


ортогональна  на  интервале  ( — оо,  оо)  относительно  веса 
ф(/)=  1,  а норма  функций  равна  (см.  приложение  IV 
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в первой  книге),  получаем 

оо  оо  ©о 

Е-Ъта-  2 2/(т)/(^)х 

— оо  П=  — оо  к=.—  оо 


71=  — оо 


Если  отсчетные  значения  / равны  нулю  при  п<0 

и п > Ы,  то  при  N > 1 

а т 

Е-тІг{іг)-  (З.П 

П=0 

Отметим  также,  что  формулы  (3.5)  и (3.7')  можно 
использовать  как  приближенные  формулы  для  случая, 
когда  величина 

АТ 

'-жіт(т) 

п=0 

пренебрежимо  мала. 

Наконец,  укажем,  что  при  дополнительных  ограниче- 
ниях формула  (3.4)  верна  и в тех  случаях,  когда  спектр 
функции  [ (1)  состоит  из  непрерывной  части,  занимающей 
ограниченную  полосу  частот,  и дискретной,  представляю- 
щей сумму  дельта-функций  (см.  § 4.2.5  и 4.2.7  в первой 
книге): 

2 (со)  - 2Н  (со)  -)-  а0 6 (со)  -)-  а & [б  (со  со^)  -ф-  б (со  — со/,. ) ] . (3.8) 

к 

Из  (3.8)  следует,  что  функция  /(/)  содержит  отличающую- 
ся от  нуля  постоянную  составляющую  а0  и что  эта  функция 

2 л 

содержит  гармонические  составляющие  с периодами  — . 
Поэтому  формула  Котельникова  (3.4)  для  функций  со  спек- 
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іром  (3.8)  должна  быть  записана  в виде 


(X) 

/(0-ао=  2 [/(-Т-)-ао] 


31"  [ 

А 1 

('X)] 

1 А 

('X) 

. (3-9) 


причем  2Д  Ф щ для  любого  к,  так  как  в противном  слу- 
чае ряд  в правой  части  (3.9)  становится  расходящимся 
при  і = ~ . 

В качестве  примера  использования  теоремы  Котельни- 
кова приведем  интерполяционную  формулу  для  корреля- 
ционной функции  В (т)  стационарного  в широком  смьюле 
случайного  процесса,  энергетический  спектр  Р (со)  кото- 
рого  непрерывный  и тождественно  равен  нулю  при  | со  | > 


В( т)=  1]  З(і^) 


Зі"| 

[м 

ЙХ) 

'] 

А 

пп  \ 
А ) 

1 

(ЗЛО) 


(В  соответствии  с (3.3)  в правой  части  (3.10)  вместо  А можно 
подставить  произвольное  І2>А.)  Используя  теорему  Хин- 
чина  — Винера  (см.  § 4.2.3  в первой  книге)  и учитывая, 

оо 

• г / ѵ ( гяп( о 


ОХ) 


е шт  сіх  = 


Я ~ -—г- 

Xе  А 


о, 


|со|<  А, 
| со  I > А, 


(3.11) 


получим  из  (3.10)  связь  между  энергетическим  спектром 
с ограниченной  полосой  и отсчетными  значениями  корретя- 
ционнои  функции  ^ 


2 *(фе 


ІТСП(0 
' Л __ 


оо 

Х[в<»>  + 22  В(Х«Х].  1-КД.  (3.12) 

п=  1 

Для  белого  шума,  прошедшего  через  идеальный  фильтр 
нижних  частот  (см.  стр.  288  в первой  книге),  корреляцион- 
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ная  функция  равна  нулю  в точках  т = — при  п > 0. 

В формулах  (ЗЛО)  и (ЗЛ2)  при  этом  остаются  только  пер- 
вые слагаемые,  и они  переходят  в формулы  (5.44)  и (5.45) 
первой  книги  (при  ы0  = 0)-  Из  (3.10)  и (3.12)  также  сле- 
дует, что  стационарный  в широком  смысле  случайный 
процесс,  корреляционная  функция  которого  обращается 
л п 

в нуль  при  т = — , эквивалентен  по  энергетическим 

характеристикам  идеально  профильтрованному  белому 
шуму. 

3.2.2.  Теорема  Котельникова  (обратная).  Рассмотрим 
теперь  непрерывную  функцию  / (/),  тождественно  равную 
т 

нулю  при  I І 1 >~2  • 

Спектр  (преобразование  Фурье)  этой  функции  равен 

т_ 

2 

2 (со)  = § (3.13) 

_ т_ 

2 

Однако  непрерывный  спектр  2 (со)  функции  }((),  ограничен- 
ной во  времени  интервалом  |/|<-^-,  однозначно  опреде- 
ляется заданием  спектральных  интенсивностей  на  частотах 
сой  = — , где  к — любое  целое  число,  включая  нуль.  Дей- 

т 

ствительно,  разлагая  на  интервале  1 1 | < -у  финитную  функ- 
цию / (1)  в ряд  Фурье,  получим  *) 

оо  2яіп 

Пі)=  2 апе~  , (3.14) 

П=  — оо 

где 

_т 

ап  = ±-  § йі=±г[^р-)  . (3.14') 

__т 
2 


*)  Как  и в § 3.2.1,  можно  получить  более  общее  соотношение, 
содержащее  избыточное  число  отсчетных  значений  2 (со),  разлагая 

т 

{ ( I ) в ряд  Фурье  на  интервале  |/|  < при  условии,  что  74  >•  Т. 
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Если  подставить  (3.14)  в (3.13)  и использовать  (3.14') 
то  после  простейших  вычислений  получим 


2 (со) 


(3.15) 


Свойство  спектра ^ограниченной  во  времени  функции,  выра- 
женное формулой  (3.15),  аналогично  свойству  функции 
с ограниченным  спектром,  указываемому  теоремой  Котель- 
никова [см.  (3.4)1. 

Заметим,  что  разложение  финитной  на  интервале 
( 2~  ’ !Г ) Функции  / (/)  в ряд  Фурье  (3.14)  определяет 

/(/)  через  значения  ее  спектра  2 на  частотах,  рас- 

положенных на  расстоянии  друг  относительно  друга. 

Нетрудно  найти  и аналог  формулы  (3.7): 

Е=  ) 5 і2<“>р*»= 

Т_  — сю 

2 


4 2 И4)Г 

71=  — оо 

или  с учетом  (3.14') 


у 2і  > 


как  и должно  быть  в соответствии  с теоремой  Парсеваля 
(см.,  например,  [8]). 

В качестве  примера  использования  обратной  теоремы 
Котельникова  приведем  интерполяционную  формулу  для 
непрерывного  энергетического  спектра  Р (со)  стационар- 
ного в широком  смысле  случайного  процесса,  корреляцион- 
ная функция  В (т)  которого  тождественно  равна  нулю 
при  | т|  > т0:  Р 3 


(3.16) 

(3.16') 


Р (со)  = у р ( пп  \ 5ІП  («тр  — пп) 
^ I Т0  / сот  о — ял 

71=  — оо 


(3.17) 
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Используя  теорему  Хинчина  — Винера  (см.  § 4.2.3  в пер- 
вой книге)  и учитывая  (3.11),  получим  из  (3.17)  связь 
между  финитной  корреляционной  функцией  и отсчетными 
значениями  энергетического  спектра: 

оо  ІКПТ 

2 ,гПг)е~т'г= 

П=  — оо 

-тНГ(0)  + 22НтгНТ]'  М<т..  (3.18) 

71—  1 


3.2.3.  Распространение  теоремы  Котельникова  на  случай- 
ные процессы.  Пусть  5 (/)  — непрерывный  в среднеквадра- 
тическом и стационарный  в широком  смысле  случайный 
процесс,  энергетический  спектр  (со)  которого  непре- 
рывный и тождественно  равен  нулю  вне  полосы  частот 
| со  | < А.  Покажем,  что  для  указанного  процесса  выпол- 
няется равенство  (в  среднеквадратическом  смысле,  см. 
§ 3.5  в первой  книге) 


1(0 


(3.19) 


Равенство  (3.19),  обобщающее  теорему  Котельникова 
на  случайные  процессы,  означает,  что  непрерывный  в сред- 
неквадратическом смысле  процесс  с ограниченным  энерге- 
тическим спектром  полностью  определяется  счетным  мно- 
жеством случайных  величин  (координат  случайного  про- 
цесса) 

І,г  = і(^),  п = 0,  + 1 , . . . (3.19') 


Случайный  процесс  при  указанных  ограничениях  пред- 
ставляет сумму  квазидетерминированных  процессов  вида 

ш.[Д  (<--%-)] 

4-чг)  ' 

Для  доказательства  того,  что  равенство  (3.19)  справед- 
ливо в среднеквадратическом  смысле,  следует  установить 
равенство  корреляционных  функций  процессов,  представ- 
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ляющих  правую  и левую  части  этого  равенства.  Имеем 

оо 

2 і(т) 


т. 


х 2 

й=- 


$іл  | 

|> 

('-■Г 

)] 

и 

'-т) 

- X 


л к 


5 ІП 

1 1 

('+-т) 

і] 

п 

л( 

і , пк  \ 

<+т-т-)  і 

ОО  ОО 

2 2 


Г=  — оо  к=  — оо 


зіп  | 

('-т)] 

и 

'~г) 

X 


X 


5ІП  | 

[а 

] 

4( 

, . пк  \ 

*+т-^) 

В силу  стационарности  | (/)  в широком  смысле 


т 


{!(т)!Й}^5[}М]. 


При  этом  для  произвольных  і и т двойная  сумма  преобра- 
зуется в одиночную*) 


ОО  оо 


2 2 *[><,-*,] 


-ОО  к=  — оо 


зіп  | 

[4 

-)] 

л( 

'~г) 

1 

X 


5ІП[Д  (<  + Т— 

оо 

ѵ п ( 

4('+'-т) 

ві  ( 

П= — оо 

X 


X 


X 


зіп  | 

[Л 

/ пп 

1т  А~ 

)] 

И 

пп  \ 
Т Д“) 

(3.20) 


Так  как  энергетический  спектр  Р | (со)  ограничен  поло- 
сой частот  [ со  |<Д,  то  в соответствии  с (3.10)  сумма 
в правой  части  (3.20)  совпадает  с корреляционной  функци- 
ей В , (т). 

*)  Это  непосредственно  следует  из  формулы  (6)  задачи  3.3. 
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Используя  замечания,  приведенные  в 3.2.1,  можно 
несколько  расширить  условия  применимости  форму- 
лы (3.19).  Прежде  всего  эта  формула  справедлива  при  заме- 
не А на  любое  П>Д  [см.  (3.3)1,  а также  при  замене 

в правой  части  ^на  (0  + ^ (задача  3.4).  Кроме  того, 

можно  снять  ограничение  о непрерывности  энергетического 
спектра  процесса  \ (і)  и предположить,  что  спектр  содер- 
жит дискретную  часть  (сумму  дельта-функций)  на  часто- 
тах сок,  если  только  А ф пык.  Наконец,  возможно  обобще- 
ние (3.19)  на  узкополосные  случайные  процессы  (см.  за- 
дачу 3.1). 

Координаты  случайного  процесса  | (/),  выбираемые 
согласно  теореме  Котельникова,  являются,  вообще  говоря, 
коррелированными  случайными  величинами.  Кроме  того, 
использование  этих  координат  ограничено  условиями 
стационарности  в широком  смысле  и финитности  энерге- 
тического спектра  процесса.  Переходим  к изучению  более 
универсального  способа  задания  координат  случайного 
процесса,  свободного  от  указанных  ограничений. 

3.3.  ОРТОГОНАЛЬНОЕ  РАЗЛОЖЕНИЕ 
СЛУЧАЙНОГО  ПРОЦЕССА 

3.3.1.  Ортогональное  разложение  корреляционной  функ- 
ции. Из  рассмотрения  общих  свойств  корреляционных 
функций  случайных  процессов  следует,  что  любая  корре- 
ляционная функция  В ( і , т)  является  симметричным  ядром 
положительно  полуопределенной  квадратичной  формы  (см. 
§ 4.2  в первой  книге),  т.  е.  для  любых  п,  ии  . . .,  ип, 

2 2 В (іи  іі)иіи}>0  (3.21) 

І=1  ]=  1 

т 

или  для  любой  функции  / (І)  при  условии  ^ /2  (()  СІ(  < оо 

—г 

т т 

I I В((,  у)Пі)Пу)(і<ау> о.  (з.2Г) 

-г -г 

Из  (3.21)  при  (3.2Г)  согласно  формуле  (9)  приложения  VI 
(в  первой  книге)  непосредственно  следует  возможность 
представления  корреляционной  функции  случайного  про- 
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(3.22) 


цесса  в виде  следующего  ряда: 


в((,  я)  = 2 


Ф к (О  ф и (у) 


к=  1 


Хи 


где  ерь  (0  и Хк  — собственные  функции  (решения)  и соб- 
ственные числа  однородного  линейного  интегрального  урав- 
нения 

т 

Ф (О  = А.  5 В (і,  у)  ф (г/)  йу,  \1\<Т.  (3.23) 

-т 

Собственные  функции  срй  ({)  образуют  систему  ортогональ- 
ных нормированных  функций,  т.  е. 

е Г 0,  к /, 

5 Ф*(0фЛ0Л  = | 1 (3.23') 

Умножая  обе  части  (3.23)  на  ф (і),  интегрируя  затем  по  I 
в пределах  от  — Г до  Г и учитывая  (3.21),  (3.23'),  убеждаем- 
ся, что  собственные  числа  > 0.  Кроме  того,  если  корре- 
ляционная функция  В ((,  у)  положительно  определенная 
(т.  е.  в (3.21)  и (3.2Г)  исключается  равенство  нулю),  то 
можно  показать,  что  совокупность  собственных  функций 
полная.  Это  означает,  что  на  интервале  | I | < Т не  суще- 
ствует более  ни  одной  функции  ф ( I ),  которая  была  бы 
ортогональна  всем  <рй  (/). 

Для  корреляционной  функции  В (т)  стационарного 
в широком  смысле  случайного  процесса  разложение  (3.22) 
может  быть  переписано  в виде 

со 

В((-у)=  ^.<МДф*(у)  > (3  24) 

к=  1 

которое  при  і = у переходит  в 

в(°)=2  4г^  <3-24') 

к=1 

Из  (3.24')  интегрированием  обеих  частей  по  I с учетом 
(3.23')  получаем 

оо 

2 ^ = 2Гв(0), 

к=  і 


191 


т.  е.  сумма  величин,  обратных  собственным  числам,  равна 
средней  энергии  процесса  на  интервале  (—  Т,  Т). 

Нетрудно  показать,  что  в общем  случае  сумма  обрат- 
ных степеней  собственных  чисел  может  быть  определена 
по  формуле  (см.  (3.32)  в первой  книге) 

оо  т 

2 ^ В(П)(“>  »)*и,  (3.24") 

к=  1 Кк  -Т 


гд еВ(п)(«,  ѵ)  — п- кратная  итерация  корреляционной  функ- 
ции В ((,  у),  т.  е. 


Б(п)(н,  «)  = ^ ...  ^ В (и,  и)В((и  іг)  .. 

-Т  ~г 

...  В (Іп- 1,  ц)  йі1  ...  йіп-і,  п>  2, 
В(1)  (и,  ѵ)  = В (и,  ѵ). 


Заметим,  что  для  корреляционной  функции  белого  шума 
с единичной  интенсивностью  В ( і , у)  = б (/  — у)  и из  (3.23) 
следует,  что  все  собственные  числа  одинаковы,  т.  е.  А,  = 1. 
Тогда  в соответствии  с (3.22) 

6 (і  - у)  = 2 ф*  (0  Та  (у).  (3.24"') 

Й=1 


где  {ер*  (0}  — любая  система  ортонормированных  функций. 

3.2.2.  Некоррелированные  координаты  случайного  про- 
цесса. Рассмотрим  непрерывный  в среднеквадратическом 
смысле  случайный  процесс  5 (0  с нулевым  средним  и кор- 
реляционной функцией  В ((,  у).  Выберем  в качестве  коор- 
динат случайного  процесса  \ (/)  случайные  величины 
(интеграл  в среднеквадратическом) 

г 

Ъь  = ѴѢ  5 &(0ф*(0<«.  (3.25) 

-г 

где  фй  (і)  и — собственные  функции  и собственные  числа 
интегрального  уравнения  (3.23).  Эти  случайные  величины 
имеют,  очевидно,  нулевые  средние.  Кроме  того,  они  попар- 
но некоррелированны  и имеют  одинаковые,  равные  еди- 
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нице,  дисперсии,  так  как  в силу  (3.23)  и (3.23') 


т т 


ГПі  {Ыт}  = V ККп,  ^ ^ В (I,  у)  фй  (I)  фй  (у)  СІІ  сіу  : 


-Т  —Т 


т 

V I Фй  (У)  Ф™  (у)  сІу=^  ^ киФ™'  (3.26) 


к = т. 


Покажем  теперь,  что  при  любом  і,  принадлежащем  интер- 
валу (—  Т,  Т),  справедливо  в среднеквадратическом  смыс- 
ле равенство 


Н0=  2^нТг  • 

й=і  ѴХк 


(3.27) 


т.  е.  что 


5.ѵ  (I)  = 2 Ьі 


фй  (() 


Гі  Ѵх* 


(3.27') 


сходится  при  N -^  о о в среднеквадратическом  к |(0- 
Находим  с учетом  (3.25),  (3.26)  и (3.27') 

тѵ  т 


т. 


(ь  (0  Ілг  (0}  = Щ { I (і)  Уі  Фй  (()  § 5 («)  Фй  (и)  сіи  } 


Й=  1 


-Т 


/V  т 


2 § 5 (/,  и)  фй  («)  Фй  (0  сіи  = У, 


й=1  -г 


Й=1 


ФІ  (0 
Яй  ’ 


ш 


.{»«»=  2 2 а9Йг~'"‘  <ьі"> " 2 


ІѴ 


&=1  71—  1 


Л=1 


ФІ  (О 
Яй  ’ 


откуда  следует: 


пі 


{[Ш-Ы/)]2}  = В(/,  о-2 


й=1 


Фй  (О 
Яй 


Из  (3.22)  при  / = у получаем 

в((,  о = 2 

Й=1 


1 ФИО 
Яй  ’ 


(3.28) 


(3.29) 


13-197 
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и,  следовательно,  при  N ->-  оо  правая  часть  (3.28)  стремит- 
ся к нулю,  т.  е.  |Лг  (і)  сходится  в среднеквадратическом 
к I (0. 


Таким  образом,  доказана  возможность  представления 
случайного  процесса  суммой  квазидетерминированных  слу- 


чайных процессов  вида 


фа  (О 

УУ 


где  срй(^)  и кк  опреде- 


ляются корреляционной  функцией  процесса,  а ^ — случай- 
ные величины,  получаемые  «взвешенным»  интегрированием 
случайного  процесса  [см.  (3.25)]. 

Если  среднее  значение  ^ (/)  отлично  от  нуля  и равно 
а ((),  то  разложение  (3.27)  следует  использовать  для  откло- 
нения случайного  процесса  от  его  среднего,  и тогда 


№ =а{і)+  2 ІА 


А=1 


Ф к (О 

1 /кн 


1 1 1 ^ Т , 


(3.30) 


причем  ядром  интегрального  уравнения  (3.23)  теперь  слу- 
жит не  В ((,  у),  а В ((,  у)  — а ( і)а  {у). 

Заметим,  что  детерминированную  функцию  а (і)  на  ин- 
тервале | I | < Т также  можно  представить  в виде  орто- 
гонального разложения 

оо 

«(0=2^^=-,  т<г,  (з.зі) 

А—  1 У** 

где 

т 

ак  = Укк  ^ а (и)  щ (и)  Ли,  (3.32) 

-т 


причем  ер ъ (0  и кк  — любая  совокупность  собственных 
функций  и чисел  *).  В справедливости  (3.31)  легко  убедить- 
ся, подставив  в него  (3.32)  и использовав  (3.24"'). 

Соединяя  (3.30)  с (3.31),  можно  ортогональное  разло- 
жение случайного  процесса  | (і)  с отличным  от  нуля  сред- 
ним представить  в виде 


^ (о  — 2 (^а  у аь) 


А=  1 


ФА  (0 

У^А  ‘ 


(3.33) 


*)  Предполагается  также,  что  ^ а2(і)сІІ  = '^  -У-<со. 

-т  А=1 
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Отметим,  что  возможно  получить  разложение  случай- 
ного процесса  по  произвольной  совокупности  ортогональ- 
ных детерминированных  функций  *),  но  при  этом  коор- 
динаты процесса  будут,  вообще  говоря,  коррелированъ!. 
Только  при  специальном  выборе  этих  функций,  согласо- 
ванных с корреляционными  свойствами  процесса  [см. 
(3.23)],  координаты  становятся  некоррелированными.  Если 
к тому  же  процесс  % (/)  нормальный,  то  эти  некоррелиро- 
ванные координаты  становятся  независимыми  случайными 
величинами. 

Основным  препятствием  к практическому  использова- 
нию ортогонального  разложения  случайного  процесса  (3.27) 
или  (3.30)  (т.  е.  представления  его  при  помощи  счетного 
множества  случайных  величин)  является  отыскание  точных 
решений  интегрального  уравнения  (3.23).  Лишь  для  ста- 
ционарных процессов  с дробно-рациональными  энергети- 
ческими спектрами  нахождение  этих  решений  может  быть 
сведено  к интегрированию  линейного  дифференциального 
уравнения  (см.,  например,  приложение  2 в [3]). 

3.3.3.  Ортогональное  разложение  комплексного  случай- 
ного процесса.  В некоторых  задачах  потребуется  обобщение 
указанного  ортогонального  разложения  на  комплексный 
случайный  процесс  (см.  § 4.7.1  в первой  книге) 

С(0  = Б(0  + » і (0- 

Аналогично  (3.22)  корреляционную  функцию  процесса  I,  (/) 
можно  представить  в виде 


В,  ((,  у)  т{  {?  (/)  I (у)}  = ^ (Х[к  {У)-  , (3.34) 

Ь=1 


где  черта  сверху  указывает  на  комплексно-сопряженную 
величину,  а ф к(()  и Ад  — собственные  функции  и собствен- 
ные числа  интегрального  уравнения  (3.23)  с ядром  В^(і,  у). 


*)  Например,  гармонических  функций  у сод  ка0(,  ^ X 
. , , 2л 

ХзіпйсооН  мо  = -уГ-;  в этом  случае  разложение  называют  рядом 
Фурье  (в  среднеквадратическом). 


13*  195 


Тогда,  вводя  некоррелированные  комплексные  коор- 
динаты 


= 5 5(0  Фл  (О  Л.  (3.35) 

-г 

(з.з5') 

I 1,  к = т, 


и сохраняя  предположение  о нулевом  среднем,  приходим 
к следующему  ортогональному  разложению  процесса  1(1): 


т 


оо 


У ь 


фл  (0 


(3.36) 


Если  среднее  ах(і)  процесса  Ц/)  отлично  от  нуля,  то  ана- 
логично (3.33)  имеем 


или 


ио=  2 (с*+а*) 

/і— і 


ф/і  (О 

Ѵ%і 


(3.37) 


т 

ак  = ]/ ^ а 5 (/)  ер*  (/)  Л.  (3.38) 

-т 


3.3.4.  Случай  белого  шума,  прошедшего  идеальный 
фильтр.  В качестве  примера,  иллюстрирующего  материал 
§ 3.3.2,  рассмотрим  стационарный  (в  широком  смысле) 
случайный  процесс  на  выходе  идеального  фильтра  ниж- 
них частот,  на  вход  которого  действует  белый  шум  с мощ- 
ностью N0  на  единицу  полосы  (см.  стр.  288  первой  книги). 
Энергетический  спектр  этого  процесса  равен 


Е(со) 


( 2іѴ0,  |о)|<Д, 
I 0,  | со  | > А, 


(3.39) 


а корреляционная  функция 

В (1  у)  = В (0)  , 5(0)  = -^-.  (3.39') 

Собственными  функциями  и собственными  числами  инте- 
грального уравнения  (3.23)  с ядром  (3.39')  являются  сово- 
купность ортонормированных  функций  [см.  формулу  (6) 
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задачи  3.3  ] 


Фл 
и числа 


(0  = / 


5 і П Д ( 

, лк  \ 

і г- 

д ) 

лк  \ 

ДГ 

--Г) 

- оо  <;  і <<  оо, 


Л'л 


(3.40) 

(3.40') 


Некоррелированными  координатами  процесса  являются 
в соответствии  с (3.25)  случайные  величины 


, ,/—  ? м ,‘іп[4('-тг)] 

Е»“  У тяг  } НО  , / „м 


О-т) 


сІ(,  (3.41) 


а его  ортогональное  разложение,  имеющее  вид 

сю 


к=  — со 


5ІП  | 

|> 

('-т)] 

лк  \ 

Д I 

(3.4  Г) 


представляет  ряд  Котельникова  (см.  (3.19)),  в котором 
ь/і  ~ г л.Ѵ о ^ V Д ) 

Заметим,  что  для  ортогонального  разложения  белого 
шума  I (/)  со  спектральной  интенсивностью  /Ѵ0  может  быть 
использована  любая  система  ортонормированных  функций 
{фй  (0)  (см-  (3.24"')).  Некоррелированные  координаты  белого 
шума  равны 


оо 

^ = УТ0  5 Шчь(і)<и- 


(3.42) 


3.4.  ХАРАКТЕРИСТИКИ  НАБЛЮДАЕМЫХ 
КООРДИНАТ  СЛУЧАЙНОГО  ПРОЦЕССА 

3.4.1.  Функция  правдоподобия  наблюдаемых  координат. 

Предположим,  что  случайный  процесс  | (/)  задается  своими 
координатами,  т.  е.  конечной  или  счетной  совокупностью 
случайных  величин  Если  задана  длительность  интер- 
вала наблюдения,  то  результат  одного  эксперимента  может 
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быть  представлен  одним  элементом  выборки  из  многомер- 
ного распределения  совокупности  ^ . Представ- 

ление результатов  наблюдения  может  быть  различным 
в зависимости  от  принятых  координат.  Так,  при  наблюде- 
нии на  интервале  (—7,  Т)  через  равные  промежутки  вре- 

мени  — элементом  выборки  являются  N чисел  хік  = 

і(1)  {ік),  где  ік  = — -у — Т,  к = 1,  . . N.  Если  выбор 

должен  производиться  из  совокупности  некоррелирован- 
ных случайных  величин  (3.25),  то  наблюдаемыми  коорди- 
натами будут  величины,  полученные  интегрированием  с раз- 
личными весами  Ѵ'киЧк  (0  реализации  ^(1)  (/)  на  задан- 
ном интервале,  т.  е. 

т 

х1к  = Ѵк  I $(1,(0<М0#,  * = 1, 

-г 


где  в соответствии  с изложенным  выше  фЛ  (()  и Хк  опреде- 
ляются корреляционной  функцией  процесса  ^ (/). 

При  повторных  независимых  наблюдениях  координат 
случайного  процесса  получают  последовательно  элементы 
выборки  х2к,  • • хпк;  к = 1,  . . .,  N.  Совместное  распре- 
деление выборочных  значений  — функция  правдоподобия 
наблюдаемых  координат  — представляет  произведение  мно- 


гомерных 
[см.  (2.196) 


функции 


распределения  элементов  выборки 


П 

7 (а'и,  . . . , хпк)  = ІПд-  (х/л,  . . . , Х/,\) . (3.43) 


Часто  при  достаточно  большом  N удается  ограничить- 
ся выборкой  размером  п — 1.  Заметим,  что  предел 
^ N (хкі,  ■ • Хьх)  при  N ->  оо  не  существует. 

3.4.2.  Распределение  наблюдаемых  координат  нормаль- 
ного случайного  процесса.  Получим  выражения  функций 
правдоподобия  наблюдаемых  координат  нормального  слу- 
чайного процесса,  которые  будут  постоянно  использовать- 
ся во  всем  дальнейшем  изложении. 

При  наблюдении  через  равные  промежутки  времени 
совместное  распределение  N наблюдаемых  координат,  за- 
данное в выборочном  пространстве,  представляет  /Ѵ-мерную 
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нормальную  функцию  распределения 
вой  книге) 


^ [Х\,  ■ ■ ■ , Ху) 


(2л) 


/Ѵ/2  , 


(см.  (4.159) 


Д7=  X 

Оу  ф / 1) 


X ехр 


{ 


N !У 


і=1  А=1 


Хі  — Щ хк  — ак  ) 
я;  ал  / ’ 


в пер- 


(3.44) 


где  ак  = а(Д),  аА  = а ((Д  — среднее  и среднеквадратиче- 
ское значения,  ай  иДій-  детерминант  и алгебраические 
дополнения  матрицы  коэффициентов  корреляции. 

Если  в качестве  координат  выбраны  случайные  вели- 
чины, определенные  согласно  (3.25),  то  выражение  функции 
правдоподобия  существенно  упрощается.  Действительно, 
если  \ ( і ) — нормальный  случайный  процесс  с нулевым 
средним,  то  его  координаты  (3.25)  представляют  нормаль- 
ные некоррелированные,  а следовательно,  и независимые 
случайные  величины.  Поэтому  их  многомерное  распреде- 
ление представляет  произведение  одномерных  нормальных 
функций  распределения  случайных  величин  имеющих 
нулевое  среднее  и единичную  дисперсию,  т.  е. 

іѵ 

ІЕіѴ  (хи  ху)  = — ^ ехр  { - -і-  ^ 4}  - (3.45) 

^ ' к=  1 


Для  процесса  с ненулевым  средним  а (()  в качестве  наблю- 
даемых координат  принимаем  в соответствии  с (3.33) 
величину 

т 

Ік  + ак  = ѴК  ^ [Б(0  + а(0ІФ*(0*.  (3.46) 

-т 

и тогда 


N 

ІДѵ  (*„  . . . , Ху)  = — ехр  { - і-  2 (Хк  - акуЛ  . (3.47) 

' ' А=1 


В том  случае,  когда  имеется  п независимых  наблюдений 
реализации  на  заданном  интервале  ( —Т , Т)  функции 
правдоподобия  могут  быть  записаны  в виде: 
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для  периодического  отбора  значений  нормального  слу- 
чайного процесса 


Т (А'л,  . . . , ЛУьѵ)  — 
X ехр 


(2л)пЛ,/2  1/ йп  (0!  ...  Оіѵ)П 

{-жі  2 І 'ТТ}  ■ (3'48> 


г=і  І=1  Й=1 


для  некоррелированных  координат 

^ (лГц>  . . . , -Хпіѵ)  = (2п)П/Ѵ/2  Х 
п ІѴ 

X ехр  | — 4"  2 2 Об*  — Ой)2}  • (3.49) 

Г=1  й=і 


При  п = 1 формулы  (3.48)  и (3.49)  переходят  в (3.44) 
и (3.47)  соответственно. 

3.4.3.  Отношение  правдоподобия  и его  предельная  форма. 

Как  было  показано  в первой  главе,  правила  выбора  реше- 
ния при  проверке  статистических  гипотез  о параметрах 
распределения  случайной  величины  основаны  (для  приня- 
тых критериев  качества)  на  вычислении  отношения  прав- 
доподобия и сравнении  его  с порогом.  Очевидно,  что  при 
представлении  результатов  наблюдения  над  случайным 
процессом  дискретной  выборкой  указанные  в первой  главе 
правила  решения  могут  быть  непосредственно  использова- 
ны для  проверки  статистических  гипотез  относительно 
параметров  распределения  случайного  процесса.  Так,  на- 
пример, если  IV N [хи  . . Хп  | 50  (01  и [хі,  . . . 

■ • .,  Хх  I 5!  (01  — функции  правдоподобия  выборки  (п  = 
= 1)  при  гипотезах  о том,  что  среднее  равно  50  (і)  (гипо- 
теза Я о)  и 5і  (0  (гипотеза  Я4),  то  правило  решения  (байесов- 
ское, Неймана  — Пирсона,  иногда  и минимаксное)  может 
быть  записано  в виде:  принимается  решение  Я,,  если  для 
наблюдаемых  координат  хи  . . .,  хы 


1{х  і,  • • • , *.ѵ) 


N [*1,  • • 

ІКѵ  [АД,  . . 


*ІѴ  | $1  (01 

Хц  I $0  (01 


(3.50) 


где  порог  с зависит  от  выбранного  критерия  качества. 

Однако  при  проверке  статистических  гипотез  о пара- 
метрах случайных  процессов,  имеющих  непрерывные  конеч- 
номерные плотности  вероятности,  можно  вместо  дискретных 
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выборок  хи  использовать  непрерывно  наблюдае- 

мую реализацию  х ( і ) случайного  процесса  \ (I).  Эта  воз- 
можность базируется  на  фундаментальной  теореме,  соглас- 
но которой  при  определенных  условиях  существует  конеч- 
ный предел  по  вероятности  при  ІѴ  — о о отношения  правдо- 
подобия I (а,  . . хк)  независимо  от  того,  принадлежит 
ли  совокупность  величин  к . . х^  распределению 
( х1 , ■ . .,  хм  | Я о)  или  ГЛ.  (х, Х]у  | Н{),  т.  е. 


Нт  I о, х„)  = 11т  -'И(01. 


(Хи 


*іѵ  I Я0) 


(3.51) 


причем  предел  (3.51)  отличен  от  нуля.  Этот  предел  назы- 
вается функционалом  отношения  правдоподобия  наблюдае- 
мой выборки.  Следуя  Гренандеру  [2],  случай,  для  кото- 
рого существует  функционал  отношения  правдоподобия 
/ [х  ( і ) 1 > 0,  называют  регулярным. 

При  других  условиях  функционал  отношения  правдо- 
подобия неограниченно  возрастает  или  обращается  в нуль, 
что  соответствует  вырожденному  (или  сингулярному)  слу- 
чаю. 

Можно  показать,  что  в регулярном  случае  при  любом 
конечном  времени  наблюдения  Т правило,  использующее 
функционал  отношения  правдоподобия,  приводит  неиз- 
бежно к отличным  от  нуля  вероятностям  ошибочных  реше- 
ний. Напротив,  в сингулярном  случае  оказываются  воз- 
можными достоверные  безошибочные  решения  при  любом 
конечном  Т > 0. 

Как  и в случае  дискретной  выборки,  будет  использован 
не  сам  функционал  отношения  правдоподобия,  а его  лога- 
рифм 1п  I \х  (01.  Тогда  в регулярном  случае  | 1п  Их  (01 1 
ограничен,  а в сингулярном  — не  ограничен. 

Доказательство  упомянутой  выше  теоремы  в общем 
виде  и отмеченного  следствия  этой  теоремы  требует  рас- 
ширения математического  аппарата  и выходит  за  рамки 
этой  книги  (отсылаем  читателя  к [2,  4]).  В следующих 
разделах  эти  положения  будут  проиллюстрированы  на  при- 
мере нормального  случайного  процесса. 

3.4.4.  Функционал  отношения  правдоподобия  нормаль- 
ного случайного  процесса.  Пусть  1(1)  — нормальный  слу- 
чайный процесс  с нулевым  средним  и известной  корреля- 
ционной функцией  В ( і , у).  Этот  процесс  суммируется 
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в одном  случае  с детерминированным  процессом  з0  (/), 
а в другом  -С5,  (().  Запишем  логарифм  отношения  прав- 
доподобия для  дискретной  выборки  хи  . . .,  х Л- , получен- 
ной на  интервале  ( —Т , Т ) через  равные  промежутки  вре- 
мени из  реализации  х (I)  процесса  I (()  + 50  (()  или  I (/)  + 
+ 5,  (0: 

N N 

1 П / (а  1 , . . . , Хдг)  = 20"  2 2 Д/  К'*'*  5і0  — 5І ]) 

і=1  і 

N N 

— (Хі  50/)  {Х]  50;)]  — 2і  2 К50і  5п)  ЛГу  + 

і=1  і=1 

~Ь  («ОУ  ^іу)  ”1“  (5ц5!у  Зог^оу)] » (3.52) 

где 

Хк  = х{ік)\  50й  = 5о(^);  5іЬ  = 5і  (//,);  /й  — д,  Л Г; 

Т)  и — детерминант  и алгебраическое  дополнение 
элемента  В (іг,  і:)  в корреляционной  матрице  М = 
= ||  В (/;,  ||,  причем  предполагается,  что  матрица  М невы- 

рожденная, т.  е.  Л > 0,  и для  любого  УѴ  существует  обрат- 
ная матрица  (элементами  которой  являются  числа  . 

Найдем  предел  (3.52)  при  N ->  с»,  т.  е.  логарифм  функ- 
ционала отношения  правдоподобия.  Рассмотрим  сначала 
билинейную  форму 

* " о.. 

^ѵ=2  Ъ~гГх>Уі  (3-53) 

і=1  і=1 

и положим 

Л?  о.. 

^•  = 2 -ІгУ"  /=1 ЛТ  (3.54) 

І=1 

Тогда 

(3.54') 

і=  і 

■ 

Так  как  — являются  элементами  матрицы,  обратной  кор- 
реляционной, то  решение  системы  линейных  алгебраиче- 
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ских  уравнений  (3.54)  может  быть  представлено  в вйде 

N 

Уі=  %В(1и  ІАѴі,  і=  1 Л^.  (3.54") 

і=  і 

При  N -+  оо  (или  при  шах  {ік+1  — ік)  ->  0 на  заданном 
интервале  наблюдения)  билинейная  форма  переходит 
в интегральную  форму  (см.  приложение  VI  в первой  книге) 

т 

К=  § Ѵ{і)х{і)<іІ,  (3.55) 

-Г 

а система  линейных  уравнений  (3.54")  — в линейное  неодно- 
родное интегральное  уравнение 
т 

у(і)=  § В{1,  и)  Ѵ(и)сіи,  |/|<7,  (3.56) 

-т 

из  которого  по  заданным  у (I)  и В ((,  и)  должно  быть  най- 
дено неизвестное  V ((),  входящее  в выражение  (3.55). 

Используя  (3.55)  и (3.56),  можно  перейти  в (3.52)  к пре- 
делу при  N ->-  о о и получить  следующее  выражение  лога- 
рифма функционала  отношения  правдоподобия,  к которому 
по  вероятности  сходится  логарифм  отношения  правдоподо- 
бия 1п  I (хи  . . .,  хЛ-): 

т 

1п /[*(<)]=  5 Ѵ(()х(()  йі  + 

-т 

т 

+ Т ^ [Го  (0  5о  (і)-Ѵі  (О  5і  (/)]Л,  (3.57) 

-т 

где  V {(),  Ѵі((),  Ѵ0  ({)  — решения  следующих  неоднородных 
линейных  интегральных  уравнений  (везде  |^|<Г): 
т 

§ В ((,  и)Ѵ  (и)сіи  = 81({)  — 80((),  (3.58) 

-т 

т 

5 В((,  и)  ѵі(и)(1и  = зі((),  (3.59) 

-т 
т 

§ В((,  и)Ѵ0(и)сІи  = 80({).  (3.59  ) 


Сравнение  (3.58)  с (3.59)  и (3.59')  показывает,  что 

V (і)  = Ѵі  (і)  — Ѵ0  (().  (3.60) 

Далее,  умножая  обе  части  (3.59)  на  Ѵ0(1) , а (3.59')  — 
на  Ѵі(і)  и интегрируя  по  і в пределах  от  —Т  до  Т, 
получим 

т т 

5І(()Ѵ0(()СІ(=  § 5 о (ОМО  л.  (З.бО') 

-т  -т 

Используя  (3.60)  и (3.60'),  нетрудно  формулу  (3.57) 
привести  к виду 

т 

1п  Цх{і)]  = § Ѵ(1)  [л(0-До(<Н28і(<)  ]сіІ.  (3.61) 
-т 

Выражение  (3.61)  логарифма  функционала  отношения 
правдоподобия  можно  получить  также  предельным  пере- 
ходом при  N ->-  оо  в логарифме  отношения  правдоподобия 
для  N наблюдаемых  независимых  координат.  Используя 
(3.47),  получим 

N 

1п/(х„  ...,**)=  Уі  [( Хк  — ьку  — {хк  — апу\  = 

к=  1 

N N 


где 

= у 2 (а*  — &гь)  + 2 Хк  (Ьк  — С1к'> ' 

к=  1 Л=1 

Т 

(3.62) 

хк  = У\к  ^ х(1)ц>к(1)  сП; 

-т 

т 

(3.63) 

ак  = ѴХк  § 50(/)ф к (()  Л; 

-т 

Т 

(3.64) 

ьк  = Ѵк  ^ 8і(0фй(0^; 

(3.64') 

-Т 


X к и (і)  —собственные  числа  и собственные  функции 
однородного  линейного  интегрального  уравнения  (3.23). 
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Обозначим 


МО  ^ К^(&й-аА)фй(/).  • (3.65) 

А=1 

Тогда  выражение  (3.62)  можно  переписать  в виде 
т 

Іп  / (*!,  . . . , л>)  = ^ У*  (/)  [а  (0  - ■8°(°  + 81  (0]<Й.  (3.66) 

-т 

Заметим  также,  что,  умножая  обе  части  (3.65)  на  В((,  и ), 
интегрируя  по  ^ от  — Т до  Т и используя  (3.23),  получаем 

Т N 

I В (/,  и)  Ѵ„  (()  сіі  У щ (и).  (3.67) 

-г  А= і 1 кк 

Если 

оо 

2 У (аь  ~ М2  < оо,  (3.68) 

А=1 

то  существует  конечный  предел 

Пт  Ѵх(1)  = Ѵ(і),  (3.68') 

Ы-ЮО 

причем  функция  V (()  определяется  из  неоднородного  линей- 
ного интегрального  уравнения  [см.  (3.67)  и (3.31)] 

Т оо 

§ В ((,  и)  V (и)  с1и=^  Фа  (О  - 

-Т  А=1 


V 

А=1 


а к 


У*» 


Фа  (() 


(/)  — 50 (/),  И<Т, 


которое  не  отличается  от  (3.58). 

При  выполнении  условия  (3.68)  из  (3.68')  следует,  что 
логарифм  отношения  правдоподобия  (3.66)  сходится  по  ве- 
роятности к следующему  функционалу: 

іп /[*(*)]=  5 ѵ (О  [^(Ѳ-М)±3.1(0.]^ 

-т 


Последнее  выражение  полностью  совпадает  с (3.61). 
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Если  рйд  У,  Я/(  (ак  — Ьи)"  расходящийся,  то  можно 

к=  1 

показать  (см.,  например,  12,  § 4.4]),  что  логарифм  отно- 
шения правдоподобия  (3.66)  при  N ->-  оо  стремится  по  ве- 
роятности к +оо,  если  х (і)  принадлежит  процессу  % (і)  + 
+ 5}  ( і ),  и стремится  к — оо,  если  х ( і ) принадлежит  про- 
цессу I (/)  + 50  (О- 

Таким  образом,  при  выполнении  условия  (3.68)  имеет 
место  регулярный  случай  (по  терминологии,  указанной 
в § 3.4.3),  а если  это  условие  не  выполняется  — то  син- 
гулярный. 

Если  имеется  не  одна,  а п наблюдаемых  независимых 
реализаций  хх  ((),  . . .,  хп  ( і ),  то,  учитывая  (3.48)  или 
(3.49),  можно  непосредственно  обобщить  (3.61),  представив 
логарифм  функционала  отношения  правдоподобия  в виде 

ІП  I \Х\  (/),  . . .,  хп(1)]  = 

Т п 

= $ ѵ (*)  { 2 **  (о  - у г5<>  (о + 5і  со] } л.  (3.69) 

-Т  І=1 

где  V (0  по-прежнему  представляет  решение  интеграль- 
ного уравнения  (3.58). 

3.4.5.  Обобщение  на  комплексный  случайный  процесс. 

Распространим  результаты  предыдущего  раздела  на  ком- 
плексный нормальный  случайный  процесс  I,  ( і ) с нулевым 
средним  и известной  корреляционной  функцией  (/,  у) 
[см.  (3.34)].  Найдем  логарифм  отношения  правдоподобия 
для  дискретной  выборки  (размером  2УѴ)  некоррелирован- 
ных координат: 

г*  = хк  + іук,  к = 1 , . . . , Л/,  (3.70) 

полученных  из  реализации  г (і)  = х (і)  + іу  (/),  наблю- 
даемой на  интервале  (—  Т,  Т),  процесса  1,(1)  = Ь,  ( і ) + 
+ іг\  (I)  или  процесса  I,  (і)  + 5 (0  = !(/)  + а (()  + 
+ і [г)  (і)  + Ь (/)],  где  5 (І)  = а ( і ) + іЬ  (()  — детермини- 
рованная комплексная  функция.  Из  (3.35')  следует: 

{хкхт}  = ті  {укут}  = 0,  кфт, 
ті  {*кУт}  = 0 для  любых  к и т, 

Щ {4}  = Ші  {уі}  = у . 

Введем,  кроме  того,  координаты  детерминированного  про- 
цесса: я*  = ак  + іЬк  |см.  (3.30)]. 
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Тогда  в силу  нормальности  случайных  величин  хк,  ут 
получим  аналогично  (3.62) 

N 

1 п I (хи  Уі,  . . . , хм,  Ум)  = [4  + у\  — ( хк  — ак )2  — (г/й  — 6Й)2] 

к=  1 

или  в комплексной  форме 

ІѴ 

ІП  / (г4,  . . . , 2іѵ)  = 2 1|  2й  I2  — I 2й  — 5й  I2]  = 

к=\ 

N 

= 2 2 [Ке(5й2й)-у|5й|2]  , (3.71) 

й=і 

где 

т 

гк  ^ г (I)  уи{і)  сІі]  (3.72) 

-т 
т 

5к^  Ѵк  ^ 5(/)фй(0  СІІ,  (3.73) 

-г 

а 4 и фй  (/)  — собственные  числа  и собственные  функции 
интегрального  уравнения  (3.23)  с ядром  В^((,  и). 
Обозначим 

N 

Ы0=2Ѵ%5йФ*  (/).  (3.74) 

Й=1 

Тогда  (3.71)  можно  переписать  следующим  образом: 

т 

1п  1 (гь  гм)  = 2 Ке  § Ѵ„  (/)  [2  (0  — Ц9-]  йі.  (3.75) 
-т 

Если 

2 4 | 5й  I2  < оо , (3.76) 

/1=1 


то  существует  предел 

Нт  Ѵм  (і) 

/Ѵ->оо 


Ѵ(і), 
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который  определяется  из  неоднородного  линейного  инте- 
грального уравнения  [ср.  с (3.58)] 
т 

\ В»{і,  и)Ѵ (и)ди  = з(1),  \(\<Т.  (3.77) 

-т 

Интегральное  уравнение  (3.77)  в комплексной  форме 
эквивалентно  системе  двух  интегральных  уравнений  отно- 
сительно действительной  Ѵн(1)  и мнимой  Ѵг(1)  частей  V (і)\ 
т т 

§ [В|  ((,  и)  + В т,  ((,  и)]  V н (и)  ди  -|-  ^ (/,  и)  — Вц%  (і,  и)]  х 

-т  _г 

хѴ,(и)ди  = Яе  з((),  (3.77') 

т 

§ [й?(/,  и)  + Вц  (/,  и)\  V,  (и)  ди  + 

-т 

т 

+ § [Впі((,  и)~ВЬ]  (/,  и)]  Ѵп(и)  ди  = \тз(і).  (3.77") 

-Т 

При  выполнении  условия  (3.76)  логарифм  отношения 
правдоподобия  (3.75)  сходится  по  вероятности  к функ- 
ционалу 

т __ 

1п  / [г  (/)]  =2  Не  § V (/)  [г  (I)  — I 5 (/)]  ді.  (3.78) 
-т 

Когда  ряд  (3.76)  расходящийся,  логарифм  отношения 
правдоподобия  (3.75)  стремится  к -4-  оо,  если  реализация 
х (/)  принадлежит  процессу  ^ (()  5 (/),  и к — оо,  если 

она  принадлежит  I,  (/). 

3.4.6.  Нормальный  белый  шум.  Найдем  в качестве 
примера  явное  выражение  функционала  правдоподобия, 
когда  I (і)  представляет  нормальный  белый  шум  *)  с интен- 
сивностью N о на  единицу  полосы  (см.  § 3.4.4).  Так  как 
корреляционная  функция  белого  шума  равна 

В (/,  и)  = Ый б ((  — и), 
то  из  (3.58)  сразу  же  находим,  что 

Л^оІ/(/)  = 5і(0-50  (/),  (3.79) 

*)  См.  стр.  206 — 207  в первом  книге. 


208 


а из  (3.61)  находим  искомое  выражение  для  рассматривае- 
мого случая 

т 

1п  / § 15і  (О  — 5о  (01  % (0  & — 

— Т 

т 

-~1  [ВІ(І)-8І(І)]М-  (3.80) 

-т 

Для  корреляционной  функции  белого  шума  все  собствен- 
ные числа  интегрального  уравнения  (3.23)  одинаковы 

и равны  X = (ср.  с (3.24")).  Тогда  условие  (3.68)  может 
быть  переписано  в виде 

оо 

2 {ак  — Ьъ)2<  оо. 

Но  сумма  квадратов  коэффициентов  разложения  ак  — Ък 
на  интервале  (—  Т,  Т)  детерминированного  процесса 

50  (/)  — 54  (0  по  ортогональным  функциям  пропорциональ- 

т 

на  (при  X = сопзі)  величине  ^ § І«о  (0  — 5і  (012  ^1. 

— т 

Таким  образом,  при  ограниченности  средней  мощности 
детерминированного  процесса  и при  условии,  что  процесс 
| {()  представляет  белый  нормальный  шум,  в соответствии 
с (3.68)  всегда  будет  иметь  место  регулярный  случай. 

3.5.  ПРОВЕРКА  СТАТИСТИЧЕСКИХ  ГИПОТЕЗ 
О НОРМАЛЬНОМ  СЛУЧАЙНОМ  ПРОЦЕССЕ 

3.5. 1 . Предварительное  замечание.  Переходим  к изучению 
правил  выбора  решений  о параметрах  случайного  процесса 
и их  оценок,  имея  в виду  распространение  методов,  изло- 
женных в предыдущих  главах,  со  случайных  величин 
на  случайные  процессы.  Когда  результаты  наблюдения 
над  случайным  процессом  представлены  выборкой  (ди- 
скретной) конечного  размера,  все  результаты,  используе- 
мые для  получения  статистических  выводов  относительно 
случайных  величин,  могут  быть  непосредственно  исполь- 
зованы для  аналогичных  целей  при  статистическом  анализе 
случайных  процессов.  Поэтому  задача  последующего  изло- 
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жения  в этой  главе  состоит  в том,  чтобы  показать,  каким 
образом  конструируются  статистики,  через  которые  выра- 
жаются правила  выбора  решений  или  оценки,  если  резуль- 
татом наблюдения  служит  не  дискретная  выборка,  а одна 
непрерывная  реализация  (или  несколько  таких  реализа- 
ций) случайного  процесса. 

3.5.2.  Проверка  гипотез  о среднем  значении  нормального 
случайного  процесса.  Начнем  с простейшего  случая  про- 
верки простой  гипотезы  Я0  о том,  что  среднее  значение 
нормального  случайного  процесса  | ( I ) с известной  корре- 
ляционной функцией  *)  В (і,  и)  равно  50  (/),  против  про- 
стой альтернативы  Яь  что  среднее  равно  (і).  Будем  пред- 
полагать сначала,  что  корреляционная  функция  процесса 
положительно  определенная  и,  следовательно,  соответ- 
ствующая ей  совокупность  собственных  функций  полная 
(см.  § 3.3.1). 

Как  было  показано  в первой  главе,  различные  критерии 
качества  приводят  к единообразной  процедуре  принятия 
решения:  по  наблюденной  выборке  (дискретной)  фиксиро- 
ванного размера  вычисляется  отношение  правдоподобия 
и принимается  или  отвергается  гипотеза  Я0  в зависимости 
от  того,  превосходит  или  нет  отношение  правдоподобия 
некоторый  порог,  величина  которого  зависит  от  установ- 
ленного заранее  критерия  качества  и не  зависит  от  раз- 
мера выборки. 

Следовательно,  для  проверки  гипотезы  о среднем  зна- 
чении нормального  случайного  процесса  можно  восполь- 
зоваться правилом,  указанным  в § 1.3,  заменив  отноше- 
ние правдоподобия  функционалом  отношения  правдоподо- 
бия (3.61),  логарифм  которого  в регулярном  случае  огра- 
ничен по  абсолютной  величине.  Таким  образом,  правило 
выбора  решения  формулируется  следующим  образом:  если 
для  наблюдаемой  на  интервале  (—  Т,  Т)  реализации  х (/) 

т т 

§ Ѵ(()х(()сІі>Іпс  + ~ § V (()[з0(і)  + &1{{)]сіІ  = кт,  (3.81) 
-т  -г 

то  принимается  решение  (верна  гипотеза  Я]),  а если 
выполняется  неравенство,  противоположное  (3.81),  то  при- 
нимается решение  у0  (отвергается  гипотеза  Я,).  В фор- 
муле (3.81)  величина  с в зависимости  от  выбранного  крите- 

*)  Здесь  предполагается,  что  В (I,  и)  — лц  {[|  (і)  — 
— (ОШ?  (и)  — гпі  (і;  (и)}]}. 
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рия  определяется  согласно  табл.  1 на  стр.  40,  а функция 
V (/)  является  решением  неоднородного  линейного  инте- 
грального уравнения  (3.58). 

Нетрудно  найти  выражения  условных  вероятностей 
ошибок.  Действительно,  из  (1.11),  (1.12)  и (3.81)  следует: 


т 

ГУ.  = Р {Ті  I Яг}  - р { 5 ѵ (/)  х (/)  аі>кт  1 50  (/)}  , (3.82) 

-т 


т 


Так  как  х (()  — реализация  нормального  случайного 
процесса,  то  интеграл  в левой  части  (3.81)  представляет 
при  заданном  Т нормальную  случайную  величину,  причем 
средние  значения,  вторые  начальные  моменты  и дисперсии 
этой  случайной  величины  равны: 


Л 1 

гщ о --  пц  ! § V (і)х  (/)  (П  | #о|  — ^ К (/)  50  (0  сіі, 
-т  —т 

т т 

піц  = гщ  | ^ V (/)  X {()  сП  I Ні } = § V (()  5,  (0  сП, 


(3.84) 

(3.84') 


Г т т 

"ч  { ( ^ ѵ ^ х ^ и°}  = т'  { § § ѵ (0  х (0  х 

-Т  -т  -т 

т т 

X V (и)  х (и)  йі  сіи  | Н0 } = ^ ^ V (I)  V (и)  [В  (/,  и)  + 

-т  -т 


т 

+ 50  (/)  50  (и)]  сП  йи=  ^ V (I)  [5і  (/)  — 50  (/)]  Лі  + 

-т 

т 

+ ( 5 Ѵ(і)8о(і)сІі)\  (3.85) 

-т 

Т т 

щ {(  5 Ѵ(()х(()сііУ\нЛ=  5 Ѵ(і)Іщ({)-з0(і)]сП  + 

-Т  -Т 

т 

+ ( 5 Ѵ(()8і(()с1іу,  (3.85') 

-т 
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т.  е. 


Л\=-Мг  | ^ V (I)  х (()  сі(  | И 0 1-  — 

-т 

= М2{  § У(()х(1)сК\Н^  = 

-Т 

= § ѵ (()  [5,  (0  — 50  (/)]  СІ(  = ш„  - ш10.  (3.86) 

-т 

Отсюда  следует,  что*)  [см.  все  формулы  от  (3.81)  до  (3.86)] 

г 5 


а = 


&т  У 2; 


1п  с+ 


тіо+тп 


^ ехр  [ — і2!  2]  й(  = 1 — Р ( 


ІПС  I <*т 
йт  ' 2 


) , (3.87) 


ІП  С аТ 


1п  с+ 


ГП10  + 7ПЦ 


сІт~\/2п 


5 ' “Р[- 


(У  — ПЦ  і)2 

2й\ 


р('пс  ат\ 
\ ат  2 ) 


(3.88) 


Если  имеется  не  одна,  а п наблюдаемых  независимых 
реализаций  хі  (і),  і=1,  то  в соответствии  с (3.69) 

область  принятия  гипотезы  Я4  определяется  неравенством 


§ V (і)  [2  хі  (О]  (іі>\пс  + ^ ^ V (/)  х 


і=1 


X [5о  (0  + 54(0]Л, 


(3.89) 


*)  Заметим  также,  что  величины  т40,  т44,  йТ,  Так  же  как 
т 

и ^ V (I)  х (і)  ііі , безразмерные,  как  это  следует  из  интегрального 

-т 

уравнения  (3.58). 
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а для  определения  условных  вероятностей  ошибок  можно 
использовать  те  же  формулы  (3.87)  и (3.88),  полагая  лишь 

г 

сі'т  = п ^ V (()  [5,  (/)  — 50  (01  <11.  (3.89') 

-т 

Из  указанных  формул  следует,  что  при  <іт  оо  вероят- 
ности ошибок  стремятся  к нулю  (состоятельность  правила 
выбора  решения). 

Различение  близких  гипотез  при  заданном  Т требует  для 
получения  приемлемых  значений  вероятностей  ошибок 
большого  числа  независимых  реализаций.  Пусть,  напри- 
мер, 5)  (/)  ==  0,5  (/)  и 50  (/)  ~ о05  (/) . Тогда,  обозначив 

г 

-Т 

из  (3.89')  получим 

(рт  = - ^-°п,  (3.89") 

о куда  следует,  что  для  сохранения  состоятельности 
правила  решения  необходимо,  чтобы  при  п — > оо  величина 

убывала  медленнее  чем  ~ . 

В том  случае,  когда  \ (/)  представляет  нормальный  белый 
шум  со  спектральной  плотностью  /Ѵ0,  функция  V (()  опре- 
деляется из  (3.79).  Подставляя  (3.79)  в (3.81),  получаем 
следующее  правило  выбора  решения:  принимается  реше- 
ние у,,  если 

т 

§ [МО-  80(()]х(1)с1(>м0\пс  + 

-т 

т 

+ у 5 [5?  (О -8?  (01  Л-  (3-90) 

-т 

В частности,  при  равенстве  энергий  процессов  50  ( і ) 
и 5,  (0  на  интервале  наблюдений  и при  с — 1 (критерий 
максимального  правдоподобия)  неравенство  (3.90)  пере- 
ходит в 

т т 

5,  (0  X (()  50  (0  х (()  йі.  (3.90') 

— Т -Т 
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т 

Дисперсия  величины  ^ Ѵ(1)х(і)йІ,  когда  х (і)  пред- 
-т 

ставляет  реализацию  суммы  нормального  белого  шума 
и детерминированного  процесса  при  любой  из  гипотез 
(Я0  и Я4),  равна  в соответствии  с (3.86) 

т 

а*г=1Г0  § М0-М0№  (3.91) 

-г 

Покажем  теперь,  что  в тех  случаях,  когда  совокупность 
собственных  функций  неполная,  можно  указать  правило 
выбора  решения  с нулевыми  вероятностями  ошибок.  Как 
уже  отмечалось,  подобная  ситуация  (сингулярный  случай) 
возникает,  если  отказаться  от  предположения  о положитель- 
ной определенности  корреляционной  функции  В ((,  и)  слу- 
чайного процесса  и допустить  возможность  равенства  нулю 
квадратичной  формы  (3.21)  или  интегральной  формы  (3.2Г). 

В соответствии  с определением,  если  система  ортого- 
нальных функций  {фА  (^))  неполная,  то  существует  по  край- 
ней мере  еще  одна  функция  ф ( і ),  которая  ортогональна 
ко  всем  (і).  Иначе  говоря,  для  всех  к 

т 

§ Ф*  (/)  ф (і)  сП  = 0.  (3.92) 

-т 


Воспользуемся  ортогональным  разложением  случайного 
процесса  (3.30)  и представим  его  реализацию  в виде 


оо 

X (0  = 50  (0  + 2 х*  П7Г- 


Не- 


когда справедлива  гипотеза  Я0,  и в виде 


(і)  — 5і  (I)  + ^ 


хк 


Ф к (0 


к=  1 


~Ѵ^к 


\<  <т, 


когда  справедлива  гипотеза  Я4. 
Тогда  из  (3.92)  следует,  что 
т 


с0,  если  верна  гипотеза 
си  если  верна  гипотеза 


Я о, 
Ни 


(3.93) 
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гп-  5 ®0(ОФ(ОЛ;  сі=  ^ з,(о  \р(()сіі.  (З-ЭЗ7) 


Если  сйфси  то  из  (3.93)  получаем  правило  выбора  безоши- 
бочного решения  (с  вероятностью,  равной  единице):  верна 
гипотеза  И0,  когда 


5 х (0  ’Ф  (0  (М  ~ Со, 

чг 


и верна  гипотеза  //,,  когда 


§ х{і)Ъ(і)(1і  г,. 


3.5.3.  Сложная  альтернатива.  Исследуем  теперь  тот  слу- 
чай, когда  альтернатива  сложная  (ср.  § 1.4.1).  Пусть 
проверяется  простая  гипотеза  Н0  о том,  что  среднее  значе- 
ние нормального  случайного  процесса  | (/),  рассмотренного 
в предыдущем  разделе  (3.5.2),  равно  нулю,  против  сложной 
альтернативы  Ни  что  среднее  принадлежит  совокупности 
процессов  5и  (/)  [или  в частном  случае  5 (/;  #)],  причем 
9 может  быть  любым  действительным  числом  (или  находить- 
ся в некоторых  интервалах  действительной  оси). 

Начнем  с байесовского  правила  выбора  решения.  В этом 
случае  должны  быть  заданы  априорные  вероятности  а 
и р = 1 - я того,  что  т,  (0)  = 0 и т,  Ц (0)  = ( і ), 
и априорное  распределение  да,  (д)  параметра  О.  Усредняя 
отношение  правдоподобия  по  случайному  параметру  •&, 
для  дискретной  выборки  некоррелированных  коорди- 
нат хи  . . .,  хЛ.  находим  [см.  (1.110')  и (3.62)] 

оо  /V 

Л (*,,  ■ • • , хк)  = § ехр  | 2 [хкЬк  (О)  - 


-у6И0,)]}а;  і(0)Л>,  (3.94) 
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где 


т 

хк  = ]/Хк  ^ х{і)щ{і)йі\  (3.95) 

-т 
т 

ьк(Ъ)  = Ѵк  ^ 5Ф(0ф*(0<й;  (3.95') 

-т 

Хь,  ерь  (()  — собственные  числа  и собственные  функции  одно- 
родного линейного  интегрального  уравнения  (3.23). 

оо 

Аналогично  предыдущему,  если  2 конечна, 

к=  1 

то  существует  предел 

N 

Нт  2 ѴКЬк  (0)  ФЛ  (/)  = V (/;  й),  (3.96) 

N->00  к=  1 

причем  функция  V ( (;  О)  определяется  из  неоднородного 
линейного  интегрального  уравнения 
т 

^ В((,  и)Ѵ  (и;  {})  сіи  = (I) , |/|<Т.  (3.97) 

-г 


При  этих  условиях  усредненное  отношение  правдоподобия 
сходится  по  вероятности  к функционалу 

ос  Т 

Л [х  (/)1  = ^ ехр  | ^ К (і;  й)  [,ѵ  (()  — л}  Щ (й)  сі$. 

-ос  -Т 

(3.98) 


Используя  (3.98),  приходим  к следующему  байесовскому 
правилу  (минимизирующему  средний  риск):  принимается 
решение  у!  (отвергается  гипотеза  Я0),  если  для  наблюдаемой 
реализации 

оо  Т 

§ ехр  | ^ V ((;  й)  [а  (0  — л}  Щ (й)  >с  = 

— оо  — Т 


П01  — Про 

р п10— пи 


(3.99) 


и решение  у0  (принимается  гипотеза  Н0),  если  выполняется 
неравенство,  противоположное  (3.99)  [см.  (1.109)]. 
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В частном  случае,  когда  5и  (/)  = а (V)  з (()  — квазиде- 
терминированный процесс  со  случайной  амплитудой,  функ- 
ционал (3.98)  отношения  правдоподобия  может  быть  пере- 
писан в виде 

оо  т 

Л [х  (01  = ^ ехр  [а  (0)  § х ( ( ) V (()  йі  - 

-оо  -Т 

т 

~ 5 5 (О  Ѵ (О  Л]  “0  (Ф)  (3.99') 

-т 

где  К (0  — решение  интегрального  уравнения 
т 

5 В(‘,  и)Ѵ  (и)  сіи  = 3(1),  \ і | < Т.  (3. 100) 
-т 

Рассмотрим  теперь  критерий  Неймана  — Пирсона.  Пов- 
торяя рассуждения,  приведенные  в начале  этого  раздела, 
получим  при  произвольных  іЭ1  следующее  выражение  лога- 
рифма функционала  отношения  правдоподобия: 

т 

Іп  / [ х (01  = ^ V ((■,  д)  х (()  йі  — 

-т 

т 

— \ § Ѵ(і\  Ъ)8ь(1)йі.  (3.101) 

-т 

Критическая  область  для  фиксированного  д,  в которой 
отклоняется  гипотеза  Я0,  определяется  неравенством 
т 

I V (і;  ®)х(()йі>К(Щ,  (3.102) 

-т 

где  К (0)  находится  по  заданной  величине  вероятности 
ошибки  первого  рода.  Из  (3.102)  следует,  что  для  существо- 
вания равномерно  наиболее  мощного  правила  (см.  § 1.4.4 
и § 1.4.7)  должно  выполняться  условие 

8*  (0  = а (О)  «(*),  (3.103) 

причем  амплитуда  а (Ф)  сохраняет  постоянный  знак.  При  ус- 
ловии а (0)  > 0 правило  выбора  решения  формулируется 
так:  отвергается  гипотеза  Н0>  если  для  наблюденной  реали- 
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зации  X (О 


т 

§ V (і)  х (()  сіі  > Л',  (3.104) 

-г 


где  V (і)  определяется  из  интегрального 
ния  (3.100). 

Так  как  при  справедливости  гипотезы  Н0 
т 


г 


<іт, 


уравне- 


то  в силу  нормального  распределения  интеграла  в (3.104) 
г 

р{  ^ Ѵ(1)х{і)<И>К\На}  = \-Р  (А.)  (3.105) 


и,  следовательно,  приданной  вероятностна  ошибки  первого 
рода  [ср.  с (1.76)] 

К = <ітха,  (3.105') 


где  ха  — процентная  точка  нормального  распределения. 

Если  а (Ф)  < 0,  то  неравенство  (3.104)  заменяется  сле- 
дующим: 

т 

^ Ѵ(і)х{і)<Н<-К.  (3.106) 

-т 

Итак,  правило  (3.104)  является  равномерно  наиболее 
мощным  при  сложной  альтернативе,  для  которой  а (О)  > 0, 
а (3.106)  — равномерно  наиболее  мощным  при  альтернативе, 
для  которой  а (Ф)  < 0.  Если  же  рассматривать  в качестве 
сложной  альтернативы  все  действительные  значения  ампли- 
туды а (Ф),  то  равномерно  наиболее  мощного  правила  не 
существует. 

Функция  мощности  для  правила  (3.104)  имеет  вид 
т 

1 - р (Ф)  = Р { § V (і)х(і)сІІ>К\  /7,}  = 

-т 

= 1 -Р  — а(Ф)^т)  • (3.107) 
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При  а (й)  > О,  1 — р (О)  > а,  функция  мощности  монотон- 
но возрастает  при  увеличении  а (в).  Но  если  а (й)  < О, 
іо  1 — р (й)  <аи  функция  мощности  монотонно  стремится 
к нулю  при  неограниченном  увеличении  | а (й)  |.  Следо- 
вательно, если  область  возможных  значений  а (й)  — все 
действительные  числа,  то  правило  (3.104)  смещенное. 

Можно  показать  [21,  что  аналогично  дискретному  слу- 
чаю, рассмотренному  в § 1.4.7,  равномерно  наиболее  мощ- 
ное несмещенное  правило  определяется  по  наблюдаемой  реа- 
лизации следующим  соотношением: 


т 


(3.108) 


-т 


3.5.4.  Процессы  с дробно-рациональными  энергетически- 
ми спектрами.  Из  изложенного  ясно,  что  основная  слож- 
ность полученных  правил  выбора  решения  для  проверки 
гипотезы  о среднем  значении  нормального  случайного  про- 
цесса связана  с тем,  что  зависимость  правила  от  известной 
корреляционной  функции  В ((,  и)  процесса  выражена  не 
в явной  форме,  а через  решение  V (/)  неоднородного  линей- 
ного интегрального  уравнения  (3.58).  Решение  этого  урав- 
нения в общем  виде  неизвестно,  в некоторых  случаях  оно 
может  быть  получено  ценой  весьма  громоздких  построений, 
и всегда  остается  путь  для  использования  численных  мето- 
дов. Исключением  является  случай,  когда  нормальный  про- 
цесс представляет  сумму  детерминированной  функции  и ста- 
ционарного нормального  случайного  процесса  I (()  с нуле- 
вым средним  и дробно-рациональным  энергетическим  спект- 
ром (со)  вида 


где  СІ  Р многочлены  степени  гп  и п соответственно  (т  < 
< п).  При  этом  процесс  I (/)  является  компонентой  много- 
мерного ^ нормального  марковского  процесса  (см.  § 9.5.1 
в первой  книге).  В указанном  случае  интегральное  урав- 
нение (3.58)  сводится  к обыкновенному  дифференциальному 
У Равнению  с постоянными  коэффициентами  и его  решение 
может  быть  записано  в явном  виде  (см.,  например,  [3,  при- 
ложение II]). 

Рассмотрим  задачу  проверки  простой  гипотезы  Н0 
о том,  что  наблюдаемая  реализация  принадлежит  процес- 


су  | (()  + 50  (0,  против  простой  альтернативы  Ни  что  она 
принадлежит  \ ( і ) + «!  (1),  при  условии,  что  1 (0  — нор- 
мальный стационарный  марковский  процесс.  Тогда,  как 
отмечалось  в § 4.5.4  первой  книги,  энергетический  спектр 
процесса  равен 

(10)  = |г2  + ш2  > 

а его  корреляционная  функция 

В (т)  = а2е-^|т|,  ц > 0.  (3.190) 

Решение  интегрального  уравнения  (3.58)  с ядром 
типа  (3.109)  имеет  следующий  вид: 

V (0  = {[Р5д  (-Т)-8'ь(-Т)]6{і  + Т)  т 

+ |Ц5д  (Т)  -5ь(Т)]6(і-Т)+  Ц25д  (0  —Яд  (0),  | І\  < Г, 

(3.110) 

где 

5д(0  = 5і(0  — 5о(0-  (3.110') 

Подставляя  (3.110')  в (3.81)  и вводя  обозначение  для 
суммы  детерминированных  функций 

*х(0  = М0+*о(9.  (З.по") 

запишем  правило  выбора  решения  в рассматриваемом  случае 
следующим  образом:  принимается  решение  у4  (справедлива 
гипотеза  Я4),  если  для  наблюдаемой  на  интервале  ( — Г,  Т) 
реализации  л:  (()  процесса 

[зд  ( ■ - т)  - 5д  (~Л]  Х(-Т)  + [5д  (Т)  - ^1]  .V  ( Т ) + 

+ Ц ^ X (і)  Гзд  (()  — ~^г-]  М > 2о2  1п  с + у I [зд  ( - - Т)  - 
-т 

- 5д  ( ~ — ] 32  ( - Г)  + [зд  ( Т)  - ^ ] 3,  (Т)  + Ц 5 5,(0  X 

-т 
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х[зд(/)-^]л}  . 


(3.111) 


^ словные  вероятности  ошибок  первого  и второго  рода 
определяются  величиной  [см.  (3.87)  и (3.88)] 

5д  ( — 7)  + 

+ [5д  (7) ~]  5д  (7)  + (X  ^ [5д  (I)  - 5д  (0  (11  } = 

-Т  г ; 

= І {5д(-Л+5П7)+р.  § (4(0  + -^-[5П0]2)  Л}  • 

(3.112) 

Если  при  р7  > 1 величины  -А  (|  7 [)  < 1 и -А  (І  Т ^ с 1 

О |Ш  ’ 

то  из  (3.111)  и (3.112)  получаем  следующие  асимптоти- 
ческие выражения,  справедливые  при  большом  времени 
наблюдения: 

р 5І  *(0[5д(0-^]л>2а21пс  + 

-Т  ^ 

т 

+ 1 - § «2(0[5д(0-т]Л.  (3.113) 

— Т Г 

Т 

{5а(0  + І[4(0]2)л.  (3.114) 

-Т  г ) 

В том  случае,  когда  для  любых  I функции  $0  (1)  и 5(  (/) 
постоянны,  т.  е. 

50(/)  = о0,  *!(()  = аи  (3.115) 

рассмотренная  задача  сводится  к проверке  гипотезы  о вели- 
чине среднего  значения  стационарного  нормального  слу- 
чайного процесса  с корреляционной  функцией  вида  (3.109). 
Тогда  производные  от  функций  5о  (()  и ({)  тождественно 
равны  нулю,  и из  (3. 1 1 1)  следует  правило:  среднее  равно  а,, 
если 

,ѵ(-7)  + .ѵ(7)  + р ? х(і)(ІІ>-^-\Пс  + 

и\  — а0 

+ («і  + а0)(1+р7), 


(3.116) 
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При  этом 

^_(аі-^(1+мТ)-  (3.117) 

Если  \іТ  > 1,  то  имеем  асимптотические  соотношения 

Х(~72п І*---  + -2г  Л (ОЛ>^0  . (3.118) 

— т 

а величина  сіг  возрастает  пропорционально  р7’: 

(3.118') 

3.5.5.  Проверка  гипотез  о корреляционной  функции. 

Проверяется  гипотеза  Н0  о том,  что  корреляционная  функ- 
ция нормального  случайного  процесса  | (і)  с нулевым  сред- 
ним *)  равна  До  (Д  у),  против  альтернативы  Ни  что  его 
корреляционная  функция  равна  (і,  у).  Если  выбрать 
в качестве  координат  процесса  5 (/)  случайные  величины 
[см.  (3.25)] 

т 

= $ &(0ф*(0<Й.  (3.119) 

-т 

где  А*  и ер*  (7)  — собственные  числа  и собственные  функ- 
ции интегрального  уравнения 
т 

ср  (/)  = А ^ В0  (I,  и)  ф (и)  сіи , 1 1 1 < Т, 

-т 

то  эти  координаты  не  коррелированы,  если  справедлива 
гипотеза  Я0,  но  бу  дут  коррелированы,  если  верна  гипотеза  Нх. 

Можно,  однако,  выбрать  координаты  процесса  таким 
образом,  чтобы  они  были  не  коррелированными  (а,  следо- 
вательно, независимы  в силу  нормального  распределения) 
и при  гипотезе  Н0,  и при  гипотезе  Ніг  с той  лишь  разницей, 
что  при  одной  гипотезе  дисперсии  всех  координат  единичны, 
а при  другой  — различны  для  разных  координат.  Здесь 
имеет  место  аналогия  с известным  результатом  высшей 


*)  Легко  обобщить  результаты  данного  раздела,  предположив, 
что  среднее  значение  процесса  отлично  от  нуля  [12].  Дискретным 
аналогом  рассматриваемой  задачи  является  задача  1.6, 
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алгебры,  согласно  которому  одним  линейным  преобразова- 
нием можно  одну  квадратичную  форму  привести  к нормаль- 
ному виду  (т.  е.  к сумме  квадратов  переменных),  а другую  — 
к каноническому  *). 

Пусть  координаты  процесса  | ( і ) определяются  согласно 
(3.119),  причем  А*  и <рА  ( і ) — собственные  числа  и собствен- 
ные функции  (ненормированные)  интегрального  уравнения 

т 

§ и)  — ХВ0(1,  и)]  у (и)  сіи  = О,  |/|<Т,  (3.120) 

-т 


а нормировка  собственных  функций  производится  относи- 
тельно В0(і , у),  т.  е. 


т т 


^ В0  {(,  и)  фй  (()  фт (и)  йійи=\1'  к т'  (3. 120') 

2* 2»  ^ О*  п,  171. 


Тогда 


{ѢкѢт  | Но}  — 


Т Т 


ѴККі  ^ ^ В0  ((,  и)  фй  (/)  Ц)т  {и)  (II  сіи  = 

( 1,  к = т, 

ІО,  к^п,  (ЗЛ21) 


т 


- т -т 

к = пг, 
кфш, 
т т 

| Н\)  = У АйА, п ^ ^ Ві  ( I , и) 


X 


-Т  -т 

т т 


х Фй  (/)  Фт  (и)  <11  сіи  = Ат  У АйАт  ^ § В0  (і,  и)  X 

-Г -Г 

Ай,  к = т, 


X фй  (0  фт  («)  И сіи 


I Ай, 

~ I о, 


кфт. 


(3.12Г) 


Используя  (3.121)  и (3. 121'),  нетрудно  записать  лога- 
рифм отношения  правдоподобия  для  N наблюдаемых  неза- 
висимых координат  хи  х я реализации  нормального 


*)  См.,  например:  Мишина  А.  П.  и Проскуря- 
ков И.  В.  Высшая  алгебра.  Физматгиз,  1962,  стр.  162—164. 


223 


стационарного  случайного  процесса: 

1п  1(х  1,  . • • , Л'дг)  =—42  Ін^-42 

Й=1  /і=1 

= (3-122) 
/і=1  к= 1 

где  в соответствии  с (3.119) 

т 

= § х(1)щ  {()(!(,  (3.122') 

-т 

причем  и ер*  (0  — собственные  числа  и собственные  функ- 
ции интегрального  уравнения  (3.120),  а х (і)  — реализация 
нормального  случайного  процесса,  наблюдаемая  на  интер- 
вале (— 7\  Т). 

Подставляя  (3.122')  в (3.122)  и переходя  к пределу 
при  уѴ-э-оо,  получим  следующее  выражение  логарифма 
функционала  отношения  правдоподобия: 

со 

іп/[х(оі=4  2 (**—  о х 

к=  1 

Т ОО 

х [ § * (0  Фа  (0  л]  — 421п^-  (3.123) 

-Т  й=і 

Теперь  может  быть  сформулировано  правило  выбора 
решения.  Если  для  наблюдаемой  на  интервале  (—Т,  Т) 
реализации  л:  (/) 

2 (А*—  1)  [ ^ х{і)щ(і)сиу  >2  1пс+  2 1п^А.  (3.124) 

к=1  -Т  к=  1 

то  принимается  решение  (верна  гипотеза  Я4),  а если 
выполняется  неравенство,  противоположное  (3.124),  то  при- 
нимается решение  у0  (верна  гипотеза  Н0).  Порог  с,  как 
всегда,  выбирается  в соответствии  с принятым  критерием 
качества  (см.  табл.  1 на  стр.  40). 

Для  того  чтобы  найти  вероятности  ошибок,  необходимо 
предварительно  определить  функцию  распределения  лога- 
рифма функционала  отношения  правдоподобия  (3.123). 
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и*  хч 


Хотя  1п  / [х  (I)  ] представляет  бесконечную  сумму  независи- 
мых  случайных  величин  ^ Х/г ^ 1п  лА,  распределение 

этой  суммы  отличается  от  нормального,  так  как  условие 
применимости  предельной  теоремы  Ляпунова  не  выполняет- 
ся [см.  (3.144)  в первой  книге].  Для  определения  указан- 
ного распределения  воспользуемся  методом  характеристи- 
ческих функций.  Так  как  х&  — нормальная  случайная 
величина,  то  одномерные  характеристические  функции 
к-то  слагаемого  суммы  при  гипотезах  Н0  и Н х равны  соот- 
ветственно [см.  (9.16)  в первой  книге] 


Ѳ1Й  (і»|Я0)  = 


9ін(ѵ\Н  0 = 


--  1п>. 


V 


1 / 

, 1 \ 

1 — IV  1 

Хи) 

уі—іѵ  (Хи  — 1) 


еТ1пХ* 


к (3.125) 
(3.125') 


Учитывая  независимость  случайных  величин  хд,  находим 
одномерные  характеристические  функции  логарифма  функ- 
ционала отношения  правдоподобия  как  произведения  харак- 
теристических функций  (3.125)  и (3.125'): 


ві("№)-[п  ( * — тДД) ] 2 х 


к=  1 


X ехр 


т'"П(>+і)}.  <3126> 


к=  1 


ѳ. 


сі».)-[П  (1-1-)] 


X 


к—  1 


хехр{-^1пЦ(1+Лг)},  (3. 126') 


А=1 


где  обозначено 


ѵ,г- 


Хи—  1 


15-197 


(3.126") 
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Теперь  обратным  преобразованием  Фурье  можно  найти 
плотности  вероятности  и интегральные  функции  распре- 
деления логарифма  функционала  отношения  правдоподо- 
бия. Однако  эти  вычисления  представляют  в общем  случае 
довольно  сложную  математическую  задачу. 

Остановимся  еще  на  том  случае,  когда  коэффициент 
корреляции  В (т)  стационарного  нормального  случайного 
процесса  точно  известен  и проверяется  лишь  гипотеза  Н0 
о том,  что  дисперсия  равна  ст„,  против  альтернативы  Яь 
что  она  равна  о2.  В рассматриваемом  случае  В0  (т)  = 

оІК  (т),  В{  (т)  = о'ІВ  (т).  Обозначим  (—  )2  р2,  и пусть 

V "о/ 

р ф 1 . Тогда  из  (3.120)  находим 
т 

(р2  — X)  ^ В(і  — и)ц>(и)(іи  = 0,  (3.127) 

-т 

откуда  следует,  что  собственные  числа  интегрального  урав- 
нения постоянны  и равны  = р2.  Логарифм  отношения 
правдоподобия  в соответствии  с (3.122)  преобразуется  к виду 

N 

1п/(А,  ...,.Ѵд.)  4 (Ь-4)  2 ХІ~-Т] 

/(= 1 


и,  следовательно: 


ІІШщ-  ІП  I (А'і, Ѵч  ) • 11-4)  X 

N->00  /ѵ  * \ \*  / 


X 1іш4  V х\-  1п р 


ІѴ— >оо 


~ (і  — 4)  — 1п  р <7  0,  если  верпа  гипотеза  Н0, 

^ (3.128) 

9-(р2—  1)  — 1пр>0,  если  верна  гипотеза  И 4, 

так  как  последовательность  случайных  величин  гл\  — 

N 

— -у-  2 х\  сходится  по  вероятности  к единице  *),  если 
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верна  гипотеза  Я0,  и к р2,  если  верна  гипотеза  Я,. 
Из  (3.128)  следует,  что 

Игл  1п  / (л-,,  . . . , Хх)  = — оо,  (3. 129) 

N->00 

если  верна  гипотеза  Я0,  и 

Пт  1п  I (Хі,  . . .,  .Ѵдг)  оо,  (3.129') 

ІѴ~>00 

если  верна  гипотеза  Я4. 

Таким  образом,  рассматриваемый  случай  сингулярный, 
и поэтому  возможно  при  любом  (произвольно  малом)  вре- 
мени наблюдения  выбрать  правило  проверки  гипотезы 
с вероятностью  единица.  Такое  правило  непосредственно 
следует  из  (3.128),  если  вместо  координат  хк  подставить 
их  выражения  (3.122')  через  наблюдаемую  реализацию. 
Если  для  наблюдаемой  на  интервале  (— Т,  Т)  реализа- 
ции л;  (/) 

N Т ■ 

1іт  4гУіК(\  1,  (3.130) 

то  принимается  гипотеза  Я0  (дисперсия  процесса  равна  ст" , 
а если  предел  в (3.130)  равен  р2,  то  принимается  гипотеза  Я 4 
(дисперсия  процесса  равна  а2). 

3.5.6.  Случай,  когда  проверяемая  гипотеза  — белый  шум. 
Рассмотрим  частный  случай  общей  постановки  задачи,  изло- 
женной в предыдущем  разделе.  Пусть  проверяется  гипотеза 
о том,  что  \ (/)  представляет  нормальный  белый  шум  со 
спектральной  интенсивностью  N 0,  против  альтернативы, 
что  корреляционная  функция  нормального  случайного  про- 
цесса равна  В ((,  у)  ■ N 08  ( і — у).  Покажем,  что  в этом 


*)  Заметим,  что  для  суммы  2дг  выполняются  условия  примени- 
мости теоремы  Ляпунова,  так  что  при  N — > оо 


У (2дг) 


У 2л м., 


ехр 


2Мо  {гл} 


[гк  — Ші 


причем  т4  {г^  | #0}  = 1,  ш4  {г^  | щі2,  М2{г,у\Н0} 

2«  і2 

М2  (гЛг  | Я4}  = ~~  . В пределе  Пт  1Р4  {г  у)  = б (г  — т4  {г}). 

Л іѴ — ,оо 


_2_ 
N ' 
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случае  в (3.124)  суммирование  может  быть  заменено  интег- 
рированием реализаций  с некоторой  весовой  функцией 
зависящей  от  В ((,  у). 

В„  рассматриваемом  случае  интегральное  уравне- 
ние (3.120)  преобразуется  к виду 


т 


іѴ0(Я— 1)ср  (<)=  I В((,  у)ц>(у)с1у,  | / 1 < Г,  (3.131) 


-т 


причем  для  нормировки  каждую  из  собственных  функцией 

Фь(0  необходимо  разделить  на  У%кЫ0  [см.  (3.120')| 
Обозначим 


(3.132) 


і де  Ф&  (/)  ортогональны  и нормированы.  Тогда  первое 
слагаемое  в (3.122)  может  быть  представлено  в виде 


т т 


-т  -т 

Далее  из  (3.132)  находим 


-т  -т 


< § №((,  у)  + м06(1  — у)]  щ (у)  Лу  = 2 М0(кк—  1)ф;г(н)  X 
-т 


V 


X фй(0  = В(/,  ѵ). 


Следовательно,  весовая  функция  Н(і,и ) удовлетворяет 
интегральному  уравнению 


т 


- т 


= В((,  ѵ),  |*|<7\  |о|<7\ 


228 


(3.134) 


Интегральное  уравнение  (3.134)  является  частным 
случаем  (при  ц=1)  более  общего  уравнения 
т 

и ^ В (/,  у)Ь.(ѵ,  і,  и)  йу -^  N 0к  (ѵ , і,  и)  = В(і,  ѵ), 

|*|<7\  | у | <Т,  (3.135) 

относительно  функции  Іг(ѵ,  і,  и),  которую  называют  резоль- 
вентой. Для  резольвенты  имеет  место  разложение 

оо 

И {і,  у,  и)  - У ) , у и фь  (0  Ч'и  (У),  (3.136) 

к=  1 

из  которого  при  «=  1 следует  (3.132).  Из  (3.136)  находим 

Т оо 

$ і+»Г-'і)і-  <зл36'> 

- Т к=  1 

откуда  интегрированием  по  переменной  и от  нуля  до  еди- 
ницы получаем 

1 Т 1 оо 

5 $ ни  и и)0ійи=  \ (V  )0и  = 

О -Т  О к=  1 


С»  ^ оо 


й= 1 О Ь=1 

Таким  образом,  второе  слагаемое  в правой  части  (3.123) 
в рассматриваемом  случае  равно 

оо  і т 

У 1пА*=^  ^ /г(/, /,  и)сІісІи.  (3.137) 

и = і о - г 

Подставляя  (3.133)  и (3.137)  в (3.124),  получим  сле- 

дующее правило  для  проверки  гипотезы  Н0  о том,  что 
наблюдаемая  реализация  принадлежит  нормальному  белому 
шуму:  гипотеза  Я0  отвергается,  если 
т т 

§ § Н((,  у)х{і)х(у)сК  йу>2\пс  + 

-т  - т 

1 т 

+ ^ ^ Н(і,  і,  и)  (Іі  йи,  (3.138) 

о -т 
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где  к ((,  у)  и к ((,  у,  и)  — решения  интегральных  уравне- 
ний (3.134)  и (3.135)  соответственно. 

Для  определения  в рассматриваемом  случае  характери- 
стических функций  логарифма  отношения  правдоподобия 
воспользуемся  формулами  (3.126),  (3.126').  Для  этого  вве- 
дем сначала  функцию  1п  Д (г),  равную  интегралу  от  (3.136') 
по  и в пределах  от  нуля  до  г,  т.  е. 


1»  В(г)=  I ^ к {і,  /,  и)  сП  сіи  , 

О -г 

оо  оо 

2>(1+І)  ".[[(і+і)  (3.139) 

Л=  1 к=  1 

или 

В{г)  -ехр  | ^ ^ к{(,  (,  и)Ш<1и}  ][  (і+  — ),  (3.139') 

о - т и = і ‘ 


где  ѵк  определено  согласно  (3.126"). 

Используя  (3.139)  и (3.139'),  получаем  искомые  выра- 
жения характеристических  функций  [см.  (3.126),  (3.126')] 

в. (“!«•)  V п^ехр{-І|пО(І)},  (3.140) 

ѳі(°!ні)“  ехр  [ — ~ I п О ( 1 ) 1-  . (3.140') 


Тогда  условные  вероятности  ошибок  первого  и второго 
рода  при  использовании  правила  (3.138)  равны 


а.  = 


ѴР(і) 

2л 


5 5 

ІИ  С — оо 


у 0(1—  іѵ) 


ехр  | 


- IV  X 


1п  ]/Д( 


(ІѴ  (ІХ, 


р 


(3.141) 

ІП  С оо 

І 5 5 уЩЩ  ехр  1 ~ іѵ  ^ + Іп  Ѵ 1 йѵ  ах- 

— 00  — 00  ' 


(3.141') 

3.5.7.  Обобщение  для  процессов  с дробно-рациональ- 
ными энергетическими  спектрами.  Можно  распространить 
результаты  предыдущего  раздела  на  тот  случай,  когда 
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проверяемая  гипотеза  и альтернатива  относятся  к нормаль- 
ным случайным  процессам  с дробно-рациональными  энерге- 
тическими спектрами  (см.  § 3.5.4).  Для  того  чтобы  сохра- 
нялось соотношение  (3.133),  весовая  функция  к ({,  у)  долж- 
на удовлетворять  двумерному  интегральному  уравнению 
т т 

-щ  § § Л (5,  у)В0{і  — з)Ві(у~  ѵ)йз(1у 
-Л'  - г 

— ѵ)-- В0(і — ѵ),  |/|  Г,  |о[  Т,  (3.142) 

где  іѴ0  — постоянный  (размерный)  множитель.  При 
Ві  (і  — ѵ)  В (I  — ѵ)  + ЛД6  ((  — ѵ),  В 0 (і  — ѵ) 

--  УѴ06  (I  — ѵ ) уравнение  (3.142)  переходит  в (3.134)  [с  до- 
полнительным ограничением  стационарности  процесса  и ра- 
циональности спектра  /?1(со)]. 

Вводя  двумерное  преобразование  Фурье  от  функции 

-г|—  к (5,  у)  по  формуле 

л/0 

со  оо 

— 17-к(я,у )—  ^ ^ Н (соД)  е’  кк  сію, 


можно  интегральное  уравнение  (3.142)  переписать  в виде 
(см.  [13]) 

§ § Н (о,  X)  В0  (со)  В{  {к)  е кШ-«ѵ)  ^ 

Ві((  — ѵ)  — В0(і  — ѵ),  |/|<Т,  |ц|<7\  (3.142') 


где  В о (со)  и Ві  (со)  — энергетические  спектры  двух  стацио- 
нарных нормальных  случайных  процессов,  каждый  из 
которых  представляется  в виде 


Р (со) 


а а со) 
V (с  со) 


(3.143) 


причем  все  корни  полиномов  С (і со)  и V (к о)  имеют  отри- 
цательные действительные  части,  и степень  полинома  числи- 
теля не  выше  степени  полинома  знаменателя. 

Обозначая  в (3.142')  интеграл  по  переменной  со 


В (к,  ѵ)  Н (со,  к)  В0  (оз)  еіиг  сісо, 


(3.144) 
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приводим  интегральное  уравнение  (3.142')  к виду 

^ Ь (К  ѵ ) Л (со)  е-*м  й) і = В1(і~ѵ)~  В0  (і  — ѵ), 

\і\  <Т,  |о|<Т.  (3.145) 

Уравнения  (3.144)  и (3.145)  представляют  два  однотип- 
ных неоднородных  линейных  интегральных  уравнения, 
каждое  из  которых  сводится  к решению  линейного  диф- 
ференциального уравнения  (см.  [13]),  причем  сначала  реша- 
ется уравнение  (3.145),  полагая  параметром  переменную  ѵ. 
Затем  находится  решение  уравнения  (3.144)  относительно 
Н (со,  К),  полагая  параметром  переменную  У 

Общее  правило  выбора  решения  (3. 124)  приводится  в этом 
случае  к виду,  аналогичному  (3.138):  отвергается  гипо- 
теза Но,  если 

Т Т оо 

~ ^ ^ к ((,  у)  х (і)  х(у)  сП  (1у>2  1п  с + 2 іп^а,  (3.146) 

-Т-Т  /1=1 

причем  первое  слагаемое  в правой  части  (3.146)  определя- 
ется, как  всегда,  критерием  качества,  а определение  второ- 
го слагаемого  сопряжено  с дополнительными  достаточно 
громоздкими  вычислениями.  Как  показано  в [13],  величи- 
ны 6А  = являются  собственными  значениями  диф- 

ференциального уравнения  (записанного  в операторной 
форме) 

(4)4-4)  ^ (4)Ч-4)»<'>= 

= (1+т)°4г)°4-й)1'-  (а)ѵЛ-ш)уи 

при  соответствующей  системе  граничных  условий.  Общее 
решение  этого  уравнения  имеет  вид 

2 N 

У(і)  = У ск  ехр  {/2,46)}, 

к=  1 

где  N — степень  полинома  С4  (гео)  Ѵ2  (іа);  гк  (б)  — корни 
характеристического  многочлена,  соответствующего  приве- 
денному дифференциальному  уравнению.  Константы  ск 
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находятся  из  системы  линейных  алгебраических  уравне- 
ний, получающихся  при  удовлетворении  граничных  усло- 
вий. Если  О (б)  — детерминант  этой  системы  уравнений  и 

р/Ах  Р(б) 

1 ] [1  [гА(б)-гДб)]  ’ 

к>3 

то  второе  слагаемое  в правой  части  неравенства  (3.146) 
может  быть  представлено  в виде  [13] 

2 1п1*=тт5г-  <3-|46'> 

Ь=1 


Заметим,  что  для  рассматриваемого  случая,  когда  энер- 
гетический спектр  стационарного  (в  широком  смысле) 
нормального  случайного  процесса  представляет  дробно- 
рациональную функцию  частоты,  сформулировано  необ- 
ходимое и достаточное  условие  сингулярности  [1,  20] 
при  проверке  гипотезы  Н0  о том,  что  наблюдаемая  реализа- 
ция принадлежит  процессу  со  спектром  Р0  (ю),  против 
альтернативы  Яь  что  она  принадлежит  процессу,  энерге- 
тический спектр  которого  равен  (со).  Это  условие  состоит 
в том,  чтобы 


Ііт 

(О -изо 


Р О (Ш)  ^ 


(3.147) 


Указанное  выше  [см.  (3.130)]  сингулярное  правило*) 
соответствует  частному  случаю  (3.147),  когда  = р2  ф 

Ф 1.  Если  при  со  — оо  предел  отношения  дробно-рацио- 
нальных энергетических  спектров  равен  единице,  то  всегда 
будет  иметь  место  регулярный  случай,  которому  соответ- 
ствуют отличные  от  нуля  вероятности  ошибочных  решений. 
Достаточным  условием  сингулярности  является  также  суще- 
ствование конечного  интервала  частот,  на  котором  хотя  бы 
один  из  энергетических  спектров,  Р і (со)  или  Р0  (со),  тож- 
дественно равен  нулю.  Поэтому  использование  математи- 
ческой модели  случайного  процесса  с ограниченным  энерге- 
тическим спектром  (см.  § 3.2.3)  приводит  к сингулярности. 


*)  Заметим,  однако,  что  сингулярное  правило  (3.130)  имеет 
место  не  только  для  дробно-рационального,  а для  произвольного 
энергетического  спектра  Рі  (ш)  = р2^  (со) . 
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Наконец,  укажем,  что  регулярный  случай  будет  иметь 
место  всегда,  если  (при  любой  из  двух  гипотез)  нормальный 
процесс  содержит  аддитивную  компоненту  в виде  белого 
шума  одинаковой  интенсивности,  так  как  условие  (3.147) 
безошибочной  проверки  гипотез  основывается  на  исполь- 
зовании различия  высокочастотной  части  энергетического 
спектра.  Так  как  белый  шум  (представляющий,  например, 
тепловые  шумы)  всегда  присутствует  в любых  реальных 
устройствах,  то  добавление  его  устраняет  парадокс  сингуляр- 
ности и приближает  математическую  модель  к изучаемому 
физическому  процессу  (см.  также  [21]). 


3.6.  ОЦЕНКИ  ХАРАКТЕРИСТИК  СЛУЧАЙНОГО 
ПРОЦЕССА 

3.6.1.  Оценка  параметров  распределения  случайного 
процесса  по  его  реализации.  В этом  разделе  будет  рассмотрен 
другой  тип  статистических  выводов  относительно  неизвест- 
ных характеристик  распределения  случайного  процесса 
по  наблюдаемой  на  конечном  интервале  времени  реализации 
этого  случайного  процесса.  Речь  идет  об  оценке  неизвест- 
ных параметров  одномерной  или  многомерной  функции 
распределения  случайного  процесса.  Аналогично  тому,  как 
результаты,  приведенные  в § 3.5,  распространяли  на  слу- 
чайные процессы  теорию  проверки  статистических  гипотез 
по  дискретным  выборкам  конечного  размера  из  распределе- 
ния случайных  величин,  здесь  будет  дано  обобщение  теории 
оценок  параметров  функций  распределения  случайных 
величин  (см.  § 2.2). 

В отличие  от  оценок  параметров  функции  распределения 
случайной  величины,  представляющих  функции  многих 
переменных  от  выборочных  значений  [см.  (2.14)],  оценки 
(статистики)  параметров  функции  распределе- 

ния случайного  процесса  являются  функционалами  от  его 
реализации  х ((): 

--8і  [х  (7)],  і 1,  . . .,  т.  (3.148) 

Определение  состоятельности  и несмещенности  оценок 
(З.І48)  не  отличается  от  соответствующих  определений 
в § 2.2.2  и 2.2.3  с необходимым  добавлением,  состоящим 
в том,  что  усреднение  производится  не  в конечномерном 
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пространстве  выборок,  а в функциональном  пространстве 
реализаций  *). 

Дальнейшие  определения  и результаты  в теории  оценок 
параметров  случайных  величин  связаны  с функцией  правдо- 
подобия, представляющей  плотность  распределения  точки 
выборочного  пространства  [см.  (3.43)].  Как  уже  подчерки- 
валось в конце  § 3.4.1,  предел  функции  правдоподобия, 
когда  размерность  пространства  выборок  неограниченно 
возрастает,  не  существует.  Это  казалось  бы  создает  пре- 
пятствия для  формального  обобщения  результатов  теории 
оценок,  данных  во  второй  главе,  на  случайные  процессы. 
Для  преодоления  этого  препятствия  вместо  несуществую- 
щего функционала  правдоподобия  для  построения  теории 
оценок  параметров  случайных  процессов  вводится  **)  функ- 
ционал отношения  правдоподобия,  который  в регулярном 
случае  положительный  и ограниченный  [см.  (3.51)]. 

Так,  информация  по  Фишеру  об  оцениваемом  парамет- 
ре ■&,  содержащаяся  в реализации  х (/)  случайного  про- 
цесса, определяется  по  формуле 


/(Ф)  Ші  { 1п / [.г (0  | 0])"}  ■ (3.149) 


где  символ  пі\  означает  усреднение  по  множеству  реализа- 
ций, а / \х  (і)  I Ф ]—  функционал  отношения  правдоподо- 
бия при  фиксированном  значении  параметра.  Минимум  дис- 
персии оценки  определяется  обобщенным  неравенством 
Рао  — Крамера  (см.  § 2.2.5) 


(3.150) 


где  смещение 


(3.151) 


Оценка,  для  которой  в (3.150)  достигается  равенство,  назы- 
вается эффективной. 


*)  Об  интегрировании  в функциональном  пространстве  см., 
например:  Гельфанд  И.  М.  и Я г л о м А.  М.  Интегрирование 
в функциональных  пространствах.  «Успехи  математических  наук», 
1956,  вып.  1 (67). 

**)  Подробнее  см.  [2  и 4]. 
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Оценка  максимального  правдоподобия 
определяется  из  уравнения  [см.  (2.54)1 

діп  I [х(і)  | Д] 


параметра 

(3.152) 


Если  существует  эффективная  оценка,  то  она  является 
оценкой  максимального  правдоподобия.  Обратное  утверж- 
дение, вообще  говоря,  неверно. 

Аналогичным  образом  обобщаются  и байесовские  оценки. 
Если  параметр  О случайный  и известна  его  априорная  плот- 
ность вероятности  ѵѵ і (гі),  то  вычисляется  апостериорная 
плотность  вероятности  параметра  Ф по  наблюдаемой  реали- 
зации х (/)  случайного  процесса 


Г,  [0  [ х (/)]  = (0)  1 Iх  <0  1 

| ѵиі  (О)  I [х  (0  ] ф]  Ц# 


(3.153) 


п далее  определяется  средний  (байесовский)  риск 

оо 

^ П(^[х(/)],  ИМФ|х(0]<ю|  , (3.154) 

— ос  і 

где  П(§,  Ф)  — функция  потерь  (см.  § 2.3.4). 

Обозначая 


П (^,  0)иМ&|х(О]йЮ,  (3.155) 

— ОО 

находим  байесовскую  оценку  й = ,д[х(0]  параметра  О 
из  условия 

д^ 

17  = °-  (3.156) 

Естественным  образом  приведенные  выше  определения 
и соотношения  обобщаются  на  случай  совместных  оценок 
совокупности  параметров  0и  . . .,  0т.  Эти  обобщения 
будут  приведены  ниже  в связи  с конкретно  формулируемы- 
ми задачами. 

3.6.2.  Оценки  максимального  правдоподобия  параметров 
детерминированного  слагаемого.  Предположим,  что  х (()  — 

наблюдаемая  на  интервале  (-Т,  Т)  реализация  процес- 
са, представляющего  сумму  нормального  случайного 
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процесса  | (і)  с нулевым  средним  и известной  корреляцион- 
ной функцией  В ((,  у)  и детерминированного  процесса 
5 (В,  Оь  . . 0т),  зависящего  от  неизвестных  парамет- 
ров О,,  . . 0т.  Задача  состоит  в том,  чтобы,  используя 

наблюдаемую  реализацию  х (/),  оценить  неизвестные  пара- 
метры 0Ь  . . .,  0т  детерминированного  слагаемого.  Для 
этого  воспользуемся  выражением  логарифма  функционала 
отношения  правдоподобия  (3.61),  полагая  (і)  = 
= 5 (/;  Оу,  . . .,  0т),  50  (і)  = 0: 

1п  / [Л-  (0  I тЭ-1,  ...,  0т]  = 

Т 

--  5 Ѵ{і\Ъи  ...,  От)  [*(/)- 0„  ...,  О,»)]  Л,  (3.157) 
-т 

где  V (I)  — решение  неоднородного  линейного  интегрального 
уравнения 
т 

§ В {(,  и)  V (и;  Оу,  . . . , 0,„)  сіи  = з (/;  'Оу,  . . . , От), 

-т 

|/|<7\  (3.158) 

Принимая  максимум  функционала  отношения  правдопо- 
добия как  критерий  качества  оценок  Оу,  . . .,  От  неизвест- 
ных параметров,  находим  из  (3.157)  систему  уравнений, 
которой  должны  удовлетворять  эти  оценки: 

-щ  і п [х  (0  | Оь  . . . , От]  = 0,  і=1,...,  т, 

или 

Т 

5 Ош)] Л- 

- Т 

т 

4 $ ѴѴ'І}  1-  От)  Л = 0.(3.159) 

- т 

Но  из  (3.158)  следует: 

т т 

§ V (I;  04,  ...,  04,  ...,  О т)И=  ^ Ѵ(1;Ъи... 

- Т - Т 

т 

. . . , От)  [ ^ В (/,  и)  -Щ  V (и;  О,,  . . . , От)  гіи]  йі  = 
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т 

= 5 Ліѵ^и’й"  ’Ѵ>:< 

- Т 

т 

X [ $ В ((,  и)  V (/;  . . . , іЭ-т)  сі(  1 сіи 

-т  ^ 

т 

= ^ ~ЩѴ(и>  #1»  ®т)я(и;0 1,  ...,  0,„)ЙЫ.  (3.160) 

-г 

Подставляя  (3.160)  в (3.159),  получим  окончательно 
т 

5 ~Щ  V (1;  #і.  • • • , От)  [ж  (/)  - 5 (/;  *!,  . . . , (!,„)]  сІі--0, 

- Т 

і 1,  ■ . . , т.  (3.161) 

Решая  систему  уравнений  (3.161)  относительно  неизвест- 
ных О],  . . .,  іЭ'т>  можно  найти  условные  оценки  этих 
параметров  г1},  = § ; \х  (<)],  і 1,  . . .,  щ,  удовлетворяю- 
щие принятому  критерию  максимального  правдоподобия. 

Нетрудно  обобщить  систему  уравнений  (3.161)  макси- 
мального правдоподобия  на  случай  комплексного  пред- 
ставления процессов.  Используя"  (3.78),  получим 

Т 

5 <УИ0-я(/;  К)й<  : 

— Т 

т 

I НОТ  ^ ^ ; ■ ■ ■ ’ 

- т 

X [2(0-8(<;  О,,  . . .,  0,„)]Л-О,  (3.16Р) 

где  V (і\  , ...,  г1),,,)  определяется  из  комплексного  инте- 

грального уравнения  типа  (3.77). 

Если  процесс  1(1)  представляет  белый  шум  со  спек- 
тральной плотностью  7Ѵ0,  то  из  (3.158)  следует,  что 

I7  (/,(>!,  ...,  &„,)  — -щ-  5 (/;  1Э3,  ...,  #т)  (3.162) 

и система  (3.161)  значительно  упрощается: 
г 

^ д&і  8 У’  ®т)[х(0 — 5(/;г')’],  ..., 

- т 

і-  = 1.  • • • , пг. 
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йт)1  си  = о, 

(3.163) 


В частном  случае  одного  неизвестного  параметра  О 
из  (3.161)  при  т=  1 следует: 

т 

I ^^-[х({)-5((-,Ъ)]сіІ  = 0,  (3.164) 

- т 

а для  белого  шума  соответственно  из  (3.163)  находим 

$ [х(0-8(<;О)1^  = 0.  (3.165) 

- т 

3.6.3.  Оценка  амплитуды.  Рассмотрим  в качестве  примера 
оценку  амплитуды  детерминированного  процесса  аз  ((). 
Уравнение  максимального  правдоподобия  (3.164)  для  полу- 
чения этой  оценки  преобразуется  к виду 

т 

^ V (()  [х  (і)  — аз  (1)]  йі  = О, 

-т 

откуда 

т 

)'  ѵ ( і ) х (і)  с и 

, (3.166) 

I V (I)  а (і)  <11 
-т 

где  V (/)  в соответствии  с (3.158)  представляет  решение 
линейного  интегрального  уравнения 

т 

§ В(1,  и)Ѵ(и)сІи-~  5({),  |/|<7\  (3.167) 

- т 

Оценку  максимального  правдоподобия  амплитуды  детер- 
минированного процесса  в аддитивном  нормальном  белом 

шуме  получаем  подстановкой  (3.162)  при  т=  1 в (3.166): 

т 

$ * (0  * (0  41 

а=^ . (3.168) 

52  (1)  йі 
- Т 
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(3.169) 


Заметим,  что  при  з(()=  1 из  (3.168)  следует 

т 

а =-27 - § х{і)йі, 

-т 

т.  е.  оценка  постоянного  среднего  а получается  усреднением 
по  времени  реализации  наблюдаемой  на  интервале  ( —Т , Т). 
По  аналогии  с дискретным  случаем  оценку  (3. 169)  называют 
иногда  среднеарифметической. 

Обозначим 

МО  ~-~т  Ѵ(П ■ (3.170) 

-Т 

Тогда  оценку  (3.166)  можно  записать  в виде 

т 

а = 5 Н(і)х (()(!(.  (3.171) 

- т 

Следовательно,  оценка  максимального  правдоподобия  амп- 
литуды детерминированного  слагаемого  получается  интег- 
рированием на  интервале  наблюдения  реализации  случай- 
ного процесса  с весом,  зависящим  от  вида  детерминирован- 
ного слагаемого  и корреляционной  функции  процесса. 
Оценки  такого  вида  называют  линейными. 

Рассмотрим  основные  свойства  оценки  (3.171).  Прежде 
всего  ясно,  что  эта  оценка  несмещенная.  Действительно, 
для  любого  фиксированного  Т из  (3.170)  и (3.171)  следует: 

т 

т1{а}  = ^ Н(і)ті{х{і)}  йі  ^ 

-т 

т 

= а^  а,  (3.172) 

-г 

так  как  /п4  {х  (()}  = аз  (і). 

Дисперсия  оценки  а равна 

т т М2{а)  = ті{(а~а)‘1}  = 

= § § к(і)к{и)ті{[х(і)  — а8(і))[х(и)  — а5(и)]}сІійи  = 

-Г  -Г 

т т 

= 5 5 Н{і)Н{и)В{1,  и) (11(1и  (3.173) 

-т  -т 
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или  с учетом  (3.170)  и (3.167) 
т т 

)'  )’  V ( I ) V (и)  В ( I , и)  сП  Ли 

М2{а}  = -у ! . (3.174) 

(I  Ѵ(()з  ( I ) Лі)2  5 V (()  3 ( I ) Лі 

-т  -т 

Однако  знаменатель  в правой  части  (3.174)  совпадает  со 
средним  значением  квадрата  производной  по  оцениваемому 
параметру  логарифма  функционала  отношения  правдопо- 
добия. Действительно,  информация  по  Фишеру  в соответ- 
ствии с (3.149)  равна 

/ ( а)  = піі  { (-^-Іп Цх((),  а])'}  = 

т т 

= т4|^  ^ V (і)  V (и)  [х  (()  — аз(і)]  [х(и)~  аз(и)]йЫи  | = 

— Т—Т 

т т т 

^ ^ V (і)Ѵ(и)В(і,  и)  йі  йи=  ^ Ѵ(()з  (()сК.  (3.175) 
-т-т  -т 

Следовательно,  из  неравенства  Рао  — Крамера  [см. 
(3. 150)  ] можно  сделать  вывод  о том,  что  несмещенная  линей- 
ная оценка  (3.171)  имеет  минимальную  дисперсию  в классе 
всех  возможных  оценок  амплитуды  детерминированной 
составляющей,  т.  е.  является  эффективной  оценкой  этого 
параметра. 

Так  как  оценка  (3.171)  максимального  правдоподобия 
является  линейным  функционалом  от  реализации  нормаль- 
ного случайного  процесса,  она  представляет  нормальную 
случайную  величину  со  средним  значением  а (в  силу  несме- 
щенности) и дисперсией  М2  {а},  определяемой  по  форму- 
ле (3.174).  Это  дает  возможность  довольно  просто  указать 
интервальную  оценку  для  амплитуды  [см.  (2.52)] 

Р {а  ( 1 — е)  < а < а ( 1 + е)}  = 

ае 

, РЛК  _и2_ 

=ут  _[  2 ‘'“=2/г(утУ-1=г.  (3.176) 

ѴЩ 


16-197 
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откуда  следует,  что  длина  доверительного  интервала  равна 
[см.  (3.174)] 

т !_ 


2еа  = 2[^Ѵ(()8{і)<1і]  2 * ,_ѵ  , (3.176') 

— Т 2 


где  хі_7  — процентная  точка  нормального  распределе- 
~~2 

ния,  определяемая  по  коэффициенту  доверия  у. 

В случае  белого  шума  N 0Ѵ  (()  = 5 (/)  и дисперсия 
(минимальная)  оценки  а определяется  по  формуле 

М2  {а}  = . (3.177) 

X2  (О  СІІ 
-т 

Следует  отметить,  что  хотя  оценка  (3.171)  представляет 
оценку  максимального  правдоподобия  амплитуды  детерми- 
нированного процесса  в том  случае,  когда  он  комбинируется 
аддитивно  с нормальным  случайным  процессом,  эта  оценка 
сохраняет  некоторые  важные  свойства  и для  процессов  \ (/), 
отличных  от  нормального.  Прежде  всего  ясно,  что  эта  оценка 
всегда  несмещенная.  Кроме  того,  можно  показать,  что 
в классе  линейных  оценок  она  имеет  минимальную  дисперсию. 
Действительно,  пусть  оценка  амплитуды  равна 

т 

а=  ^ §{і)х(і)  (И  (3.178) 

-т 


при  условии  несмещенности 
т 

$2(05(0  Я =1.  (3-178') 

- т 

Тогда  по  аналогии  с (3.173) 
т т 


УИ2  {а>  = ^ $ &(0  8 (и)  В {I,  и) (II  <іи.  (3.179) 


-г  -т 

Найдем  нижнюю  границу  значений  дисперсии  при  всевоз- 
можных *)  функциях  2(0  и соблюдении  условия  (3.178'), 


*)  Предполагается,  конечно,  что  класс  функций  § ( I ) огра- 
ничен не  только  условием  (3.178'),  но  и требованием  ограниченности 
М2  (а),  т.  е.  сходимости  в среднеквадратическом  стохастического 
интеграла  (1.178). 
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которое  с учетом  (3.167)  может  быть  переписано  в виде 
т т 

^ ^ й {і)Ѵ  (и)  В (/,  и)  сіі  сіи  1. 

— Т - г 

Воспользовавшись  неравенством  Бу  няковского  — Шварца 
(см.,  например,  сноску  на  стр.  84  в первой  книге),  получим 
т т 

1 ( 5 $ Я (О  У (О  Я (Л  и)(1ЫиУ< 

— т -т 

т т ГТ 

^ ^ Ѵ(і)Ѵ(и)В(і,  и)  сіі  сіи  ^ ^ й'  (0  й іи)  В (/,  и)  сіі  сіи, 

- Т - Т -Т - т 

откуда  следует,  что  [см.  (3.179)] 

Мп  {а}  > ! 

Л | V ( I ) V (и)  В (/,  и)  (И  (Іи 

или  (см.  (3.174)) 

М2  {а } > . (3.180) 

)’  V ( I ) 5 (І)  СІІ 

-т 

Таким  образом,  нижняя  граница  дисперсий  всевоз- 
можных линейных  оценок  амплитуды  а детерминирован- 
ного процесса  аз(і)  в произвольном  аддитивном  случай- 
ном процессе  с корреляционной  функцией  В (/,  и) 

равна  ^ ||  V (()  з (()  сііу1,  где  V (і)  — решение  интегрального 
-т 

уравнения  (3.167).  Эта  граница  достигается  в том  случае, 
когда  й (0  к (О  [см.  (3.170)1.  Во  всех  приведенных 
выше  результатах  молчаливо  предполагалось,  что 
т т г 

5 Ѵ(і)${і)сІІ  = ^ $ V (I)  V (и)  В (і,  и)  сіі  сіи  > 0,  (3.181) 

’ т - т -т 

т.  е.  корреляционная  функция  является  ядром  положитель- 
но определенной  квадратичной  формы.  Это  условие,  как 
отмечалось  выше,  соответствует  регулярному  случаю. 
Если  же 

т 

I Ѵ(і)5(і)сіі  = 0, 

-г 
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То  имеет  место  сингулярный  случай.  Наличие  аддитивного 
белого  шума  является  достаточным  условием  для  справед- 
ливости предположения  (3.181),  так  как  при 

В ((,  и ) = Ві  ((,  и)  іѴ0б  (I  — и) 
т т т 

^ V (і)  5 (?)  сіі  = ^ ^ V (і)Ѵ  (и)  Ві(і,  и)  сП  АиАг 
- г -т -т 

т 

+ ІѴ„  § V2  (I)  (К  > 0,  (3.181') 

-г 


потому  что  первое  слагаемое  в (3.18Г)  неотрицательное, 
а второе  — положительное. 

Таким  образом,  наличие  аддитивного  белого  шума  сразу 
же  исключает  возможность  появления  сингулярности. 

3.6.4.  Байесовские  оценки.  Используя  обобщение  методи- 
ки, изложенной  в § 2.4.5,  нетрудно  в принципе  определить 
и байесовские  оценки  случайных  параметров  Т>і , . . ., 
квазидетерминированного  слагаемого  я (і ; г'Н,  . . .,  ■&,„)  по 
наблюдаемой  реализации  х ( I ). 

Байесовские  оценки  = [л:  (01,  ■ • ■ , йт  цт  [л:  (01 

неизвестных  параметров  бд,  . . .,  бт,  минимизирующие 
средний  риск 

Я = [х(і)\ди  . . .,  §■,„]},  (3.182) 

находятся  из  системы  уравнений  [см.  (2.118)] 

-Цг  = 0,  і=\,...,т,  (3.183) 

где 

^ [X  (і)\8и  • . Ы = 

= § • • • ^ П (Оі,  . . . , бт,  бд,  . . . , ’&т)  X 

X №т  [бд,  . . . , бт]х  (/)]  (1®1  . . . сІі}т  (3. 184) 


бт|х(/)]  = 

Ш,п  (б],  ■ . ■ , От)  I [ X (0  1 ■О’і б№] 

К • • • У Ют  (бі,  ...,Ьт)1[х{І)  | б),  ... , бт]  ДО  і . . . М, 

— оо  — оо 


(3.185) 
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Для  квадратичной  функции  потерь  получим  [см.  (2.119)] 

оо  сю 

чЭѵпІ х{1)}(1®1  . . . (Шт.  (3.186) 

— ОО  — СЮ 


При  ограничениях,  указанных  во  второй  главе,  эта  же  байе- 
совская оценка  имеет  место  и для  иных  (симметричных) 
функций  потерь. 

Возвращаясь  к рассмотренному  выше  примеру,  найдем 
байесовскую  оценку  амплитуды  а квазидетерминированного 
процесса  предположив  сначала,  что  функция  потерь 

II—  квадратичная  и что  амплитуда  представляет  нормальную 
случайную  величину  с точно  известными  средним  а0  и 
дисперсией  а„. 

Тогда  в соответствии  с (3.157)  и (3.185)  апостериорная 
плотность  параметра  а,  когда  имеется  отрезок  реализации 
* (/)  на  интервале  (—7,  Т),  равна 

Г,  [а  — щ (а) 1 [*  (*)  = 

$ Щ (а)  I [х  (0  | а]  сіа 

— ОО 

(а-ар)  2 Т 

ехР{‘,]тѴ'<')[-'М-|8(0]л}х 

оо  (а— а0)2  Т 

^ е ехр[Д  нох 

— ОО  _ Т 

X — у5(0]л]^а|  1 , 


где  V ( і ) представляет  решение  интегрального  уравне- 
ния (3.167).  Вычисляя  интеграл,  заключенный  в фигур- 
ных скобках,  получим  после  несложных  преобразо- 
ваний 


Гі  [а  | х (/)] 


(1 

0о  ~[/2л 


ао  + °’ол:г\ 2 ) 

1 -р0„5г  ) / ’ 


(3.187) 
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хехр{-1±|й(а 


где 


т 

«Т  = 5 ^(/)5(0Л, 
-т 
т 

л’т  — 5 Ѵ(і)х(і)си. 


(3.188) 

(3.189) 


При  квадратичной  функции  потерь  *)  минимум  / \х  (/)  | ^ ] 
достигается  для  оценки,  совпадающей  с условным  средним 
оцениваемого  параметра  а (см.  § 2.3.6).  Тогда  из  (3.187) 
непосредственно  следует,  что  байесовская  оценка  амплитуды 
квазидетерминированного  слагаемого  имеет  вид 


°0  I Ѵ (і)х(1)<11  ао  . с,!>т  Л г 

5Т 


1 Ь СГ§  X V (0*  (0  сіі 


1 ; СТ2хт 


(3.190) 


или 


а"  + ] |°4т  5 к (0  [-ѵ'(0  — а«5  (01 


сіі 


а°+ГТаЪт  {хт-аФт)‘ 


(3.190' 


Сравнивая  (3.190)  с (3.166),  нетрудно  прийти  к выводу,  что 
байесовская  оценка  представляет  среднее  взвешенное  двух 
Ееличин:  оценки  максимального  правдоподобия  и априорно- 
го среднего  а0,  причем  отношение  веса,  приписываемого 
первой  величине,  к весу  второй  равно 


И 'Фе  -( - , (3.191) 

( X V (0  а (0  Л)"1 

_ 'Г 


т.  е.  отношению  дисперсии  априорного  распределения  пара- 
метра к дисперсии  оценки  максимального  правдоподобия. 

Если  указанное  отношение  неограниченно  возрастает 
(т.  е.  дисперсия  оценки  максимального  правдоподобия 
много  меньше  дисперсии  априорного  распределения),  то 


(3.19Г) 


*)  Из  § 2.3.8  следует,  что  приводимые  ниже  результаты  спра- 
ведливы также  и при  любой  симметричной  функции  потерь. 
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т.  е.  байесовская  оценка  приближается  к оценке  максималь- 
ного правдоподобия.  Если  же,  напротив,  дисперсия  априор- 
ного распределения  много  меньше  дисперсии  оценки  макси- 
мального правдоподобия,  то 


а 


(3.192) 


т.  е.  наблюдаемая  реализация  не  влияет  на  оценку,  которая 
принимается  равной  априорному  среднему  оцениваемого 
параметра. 

Когда  случайная  составляющая  процесса  представляет 
белый  шум,  то  согласно  (3.167)  N дѴ  (і)  = з (і),  и тогда 
из  (3.190)  следует: 


или 


а 


т 

а°\  ^ ^ 5 (*>  * (0  а‘ 
- т 


т 


(3.192') 


^ __  а0  ЦЦм  1 1 

Ч Р 


(3.192") 


где  амп  — оценка  максимального  правдоподобия  (3.168). 
Величина 


р» 
Л'  о 


т.  е.  равна  отношению  дисперсии  априорного  распределе- 
ния к дисперсии  оценки  максимального  правдоподобия 
[см.  (3.177)]. 

Рассмотрим  некоторые  свойства  байесовской  оценки 
(3.190)  амплитуды  квазидетерминированного  слагаемого. 
Прежде  всего  видно,  что  эта  оценка  получается  путем 
линейной  обработки  наблюдаемой  реализации  х (()  и,  сле- 
довательно, так  же  как  и исходный  процесс,  имеет  нормаль- 
ное распределение  (как  и оценка  максимального  правдопо- 
добия). Найдем  среднее  и дисперсию  байесовской  оценки  а , 
причем  сначала  получим  условные  средние  и дисперсию 
при  фиксированном  а,  а затем  безусловные,  усредняя  по  а. 
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Из  (3.190')  следует: 

гпі  {а  | а)  = а0  + (а  — а0)  - , 

м2  {а|д}  = (Г^р^[1  +(а-а0)25г], 

и так  как  т1{а}  = а0,  {(а  — а0)2}  = а2,  то,  усредняя  по  а, 

получим 


М2  {а} 


т ! (а)  = а0, 

Фт  Ц 2 

1+0§5Г  1+{і  0 


(3.193) 

(3.193') 


При  р -ѵ  0 дисперсия  байесовской  оценки  также  стре- 
мится к нулю,  а при  р -*■  оо  асимптотическое  значение  этой 
дисперсии  равно  о2. 

Заметим,  что  функция  7 [х  (і)  | а]  в рассматриваемом 
примере  в соответствии  с (3.189),  (3.187)  и (3.190)  равна 


^[x(^)\а]  = ^ (а  — а)2ѴІ/і[а\х(()]сІа  = 

— оо 


1 


(ггЫ  5 5 


X 


Хехр[-Щ^(а-а)2]^  = -т-^|7-,  (3.194) 

т.  е.  не  зависит  от  х(і).  Отсюда  следует,  что  средний 
риск  равен 

/?  = т1{і[х(0|а]}  = г^;  = -г^г.1^.  (3.195) 


При  ст0  ->-  0 величина  среднего  риска  также  стремится 
к нулю,  так  как  в этом  случае  априорное  распределение 
оцениваемого  параметра  приближается  к дельта-функции. 
При  ст0  — °° 

= (3.196) 


т.  е.  к величине  дисперсии  оценки  максимального  правдо- 
подобия. 

Таким  образом,  априорное  распределение,  для  которого 
дисперсия  много  больше  дисперсии  оценки  максимального 
правдоподобия,  является  наименее  благоприятным  и,  сле- 

248 


довательно,  оценка  (3.166)  максимального  правдоподобия 
является  также  и минимаксной. 

3.6.5.  Асимптотические  свойства  байесовской  оценки. 
При  произвольном  априорном  распределении  щ (а)  ампли- 
туды квазидетерминированного  сигнала  байесовская  оценка 
этой  амплитуды  при  квадратичной  функции  потерь  равна 
в соответствии  с (3.186) 


а -=  ^ а№і[а\х(і)\<іа,  (3.197) 

— оо 

где  х (і)  — наблюдаемая  на  интервале  ( —Т , Т)  реализация 
суммы  сигнала  аз  (і)  и нормального  случайного  процесса 
с нулевым  средним  и известной  корреляционной  функ- 
цией В ((,  у). 

Подставляя  в (3.197)  выражение  для  апостериорной  плот- 
ности оцениваемого  параметра  [см.  (3.187)],  используя 
выражение  для  функционала  отношения  правдоподобия 
и обозначения  (3.188),  (3.189),  запишем  (3.197)  в виде 

оо 

^ аѵѵ і (а)  ехр  5Т ^ сіа 


сед  (а)  ехр  ^ ахт  — ~ ^ с іа 


Дополняя  экспоненты  в подынтегральных  выражениях 
до  полных  квадратов,  после  элементарных  алгебраических 
преобразований  находим 

оо  

а-^ = • (3.198) 

5 Ші(а)  /ъгехр[дг 


Когда  дисперсия  оценки  максимального  правдоподобия 
571— >0,  функция 

/ігехР  [1  (а-д^П  (а-Д7) 

(см.  стр.  69  в первой  книге),  и из  (3.198),  предполагая  непре- 
рывность іѵ і (а)  и используя  фильтрующее  свойство  дель- 
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та-функции,  получаем  асимптотическую  формулу  для  байе- 
совской оценки  амплитуды  при  5г->оо: 

т 

1 V (0  -ѵ  (О  М 

= ^ • (3-199) 

)'  V (()  5 (I)  СІІ 

-т 

Таким  образом,  независимо  от  вида  априорного  распре- 
деления и>і  (а)  амплитуды  а байесовская  оценка  а прибли- 
жается при  Зі'  *-  оо  к оценке  максимального  правдоподо- 
бия (3.166). 

В том  случае,  когда  аддитивный  случайный  процесс 
представляет  белый  шум, 

т 

8т  = 5 52  (/)  Лі' 

-т 

т.  е.  указанная  асимптотика  имеет  место  при  неограниченном 
увеличении  отношения  энергии  детерминированного  про- 
цесса на  интервале  наблюдения  к спектральной  плотности 
аддитивного  белого  шума. 

Так  как  несмещенная  оценка  максимального  правдопо- 
добия (3.166)  имеет  нормальное  распределение  и ее  диспер- 
сия равна  5г\  то  асимптотическое  (при  зт  оо)  условное 
распределение  байесовской  оценки  может  быть  записано 
в виде 

№\{а\а)  |/|1-ехр  [--|1(а-а)2]  , (3.200) 

откуда  следует,  что  безусловное  распределение  байесовской 
оценки  а при  зт  ->-  оо  асимптотически  приближается  к 

оо 

ІТ'і  (а)  ■=--  ^ ы>1  (а)  И?!  (а  | а)  сіа  - (а),  (3.200') 

— оо 

т.  е.  к априорному  распределению  неизвестного  параметра, 
в котором  переменная  а заменяется  оценкой  максимального 
правдоподобия  этого  параметра. 

3.6.6.  Обобщение  результатов.  Вернемся  к общему 
случаю,  когда  детерминированное  слагаемое  5 (/;  О,,  . . .,  ■&,„) 
содержит  произвольное  конечное  число  неизвестных  пара- 
метров. Случайное  слагаемое,  как  и прежде,  представляет 
нормальный  случайный  процесс  с нулевым  средним  и изве- 
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стной  корреляционной  функцией.  Предположим,  что  функ- 
ция 5 (/;  Оу  . . Ѵ>„,)  может  быть  представлена  в виде 

5(/;  Оу,  . = 5 (3.201) 

і=  1 

где  5;  (/),  / - 1 , . . .,  т — известные  функции. 

Найдем  совместные  оценки  максимального  правдоподо- 
бия параметров  Оу,  . . .,  От.  Подставляя  (3.201)  в правую 
часть  (3.158),  заменим  интегральное  уравнение  (3.158) 
системой  уравнений 
т 

§ В(/,  и)Ѵі(и)с1и  5,- (/),  |/|<Г, 

-г 

* “=  1 /И,  (3.202) 

причем  функция  V (/;  Оу,  . . .,  0,„),  от  которой  зависит  ло- 
гарифм функционала  отношения  правдоподобия  (3. 157),  равна 

V2 * * * * 7  (/;  0,,  . . . , 0,„) 5 Ъ-Ѵі  (/).  ■ (3.203) 

3=1 

Нз  (3.203)  находим 

...,  0,„)  = V і (і)  (3.204) 

и,  подставляя  (3.204)  в (3.161),  получаем  систему  уравне- 
ний максимального  правдоподобия 

Т тп 

5 ѵі  (0  [х  (0  - 2 (0]^П  0,  1 = 1 И,  (3.205) 

-Г  3=1 

или 

тп  Т Т 

2 ^ (0 (0  ^ V,  (0  а-  (0 

г-  і - т -т 

і = 1,  . . . , т.  (3.205') 

По  аналогии  с (3.188)  и (3.189)  обозначим 
г 

*ти=  $ (3.206) 

-т 
т 

Хті  = ^ V;  (/)  ,ѵ  (/)  йі  (3.206') 

-т 
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и представим  систему  линейных  уравнений  относительно 


(3.205)  в виде 

= %Тіі 

І=  1 

І=  1,  • 

. .,  пг, 

(3.207) 

или  в матричной  форме 

5ГФ  = 

хт, 

(3.207') 

где  8Г  — матрица  размером  ихш,  элементы  которой  равны 
5тц,  а # и Хг  — векторы-столбцы,  элементы  которых 
и хті  соответственно. 

Полагая,  что  для  всех  / 
т 

^ 8)  (()  сМ  < о о 

-т 

и что  В (/,  и)  — положительно  определенная  функция 
(см.  § 3.3.1),  приходим  к заключению,  что  существует 
матрица  8г\  обратная  матрице  5Г.  Тогда  решение  уравнения 
(3.207  ) приводит  к следующим  оценкам  максимального 
правдоподобия  неизвестных  параметров: 

1»  = 871ХТ.  (3.208) 

Если  случайная  составляющая  наблюдаемого  процесса 
представляет  белый  шум  с интенсивностью  УѴ0,  то  из  (3.202) 
следует,  что 

М(Уі  (0  = 5(  (0-  1 = 1,  • . . , пг, 


и,  следовательно,  матрицы  8Т  и Хт  в (3.207')  преобразуются 
к виду  (множитель  УѴ0  сокращается) 


5 г — 


(()  8 у (I)  (ІІ 


і •■=  1,  ■ • пг, 


Хг  = 


/=  1,  т, 

Т 

^ 5;  (!)  X ( І ) СІІ  , 

-Г 


(3.209) 

і 1,  . . . , т.  (3.209') 


Векторная  оценка  (3.208)  несмещенная.  Действительно, 
из  (3.208)  находим*) 

/Лі{0}  в^тДХД.  (3.210) 
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:)  О среднем  значении  матриц  см.  § 2.7.1. 


Но 

{хп}  = Е ^ (о  ѵ,  со  м = 2 ^5ги., 

І=1  -Г  ;=і 

и,  следовательно, 

т1{Хт}=  8Г#.  (3.210') 

Подставляя  (3.210')  в (3.210),  получим 

т1{^}  = 1?,  (3.211) 

что  и доказывает  утверждение  о несмещенности  оценки 
(3.208). 

Найдем  выражение  корреляционной  матрицы  М оце- 
нок (3.208)  максимального  правдоподобия  [см.  (2.99)] 


М 


/^{(О-О)  (0—0)'}, 


(3.212) 


где  знак  штрих  указывает  на  транспонированный  вектор 
(в  дальнейшем  — на  транспонированную  матрицу).  После 
несложных  преобразований  и подстановки  вместо  0 ее  выра- 
жения из  (3.208),  получим  с учетом  симметричности  мат- 
рицы 8Т: 

М т[  {00'}  - ОО'  = тѵ  {в^ХгХг  (8т1)'}  - 00'  = 

гт  ѵ'/щ  (Х.Х)}  х,.1  -00'.  (3.213) 

Но 

т т 

т і {хпхтА  ^ ^ 5 (и,  ѵ)  Ѵь  (и)  V ^ (ѵ)  сіи  йѵ  + 


-т  -т 


+ Е ®ь8тік  Е 

к=  1 П—  1 

И,  следовательно  [см.  (3.202)], 

щ {ХгХг}  = 8Г  + 8Г00'8Г.  (3.214) 

Подставляя  (3.214)  в (3.213),  находим 

М = чт1,  (3.215) 

т.  е.  корреляционная  матрица  оценок  максимального  прав- 
доподобия детерминированного  слагаемого  (3.201)  совпадает 
с матрицей,  обратной  матрице  8Г  [см.  (3.206),  а для  белого 
шума  (3.209)]. 
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Найдем  также  элементы  информационной  матрицы  Фише- 
ра [см.  (2.98)].  Используя  левую  часть  (3.205),  получим 


/<*■ 


3)  —т^ 


( д 1п  I д 1 п / 

I 30;  д®^  ) 


= Щ { § Ѵі  (и)  >: 


т Т т 

х[л-(«)— ^ ^5 ь(и)](іы  ^ ѴД(у)  [,ѵ(ц)->]  іі-п$п  (о)] 

1і=і  -Т  71—  1 ; 

Т Т 

= ^ ^ В (и,  ѵ)Ѵі(и)Ѵ і(ѵ)сІіиіѵ  - 
-т  - т 


т 

\ Ѵі  (и)  у,-  (и)  сіи , 
-т 


что  полностью  совпадает  с (3.206). 

Таким  образом,  информационная  матрица  совпадает 
с матрицей  $т,  т.  е. 

I =8Т,  (3.216) 

и из  (3.215)  находим,  что 

I 1 5т  - М.  (3.217) 

Следовательно  [см.  (2.99)],  оценки  максимального  прав- 
доподобия (3.208)  являются  совместно  эффективными. 

Результаты,  аналогичные  приведенным  выше,  могут 
быть  получены  и в том  случае,  когда  результаты  наблюде- 
ний представлены  не  реализацией  х (і),  а дискретной  выбор- 
кой (см.  задачу  3.6). 

Возможны  также  обобщения  результатов  § 2.6.4  и на 
случай  совместных  байесовских  оценок  случайных  пара- 
метров і‘>і,  . . .,  йт  квазидетерминированного  слагаемого 
вида  (3.201)  (см.  задачу  3.7,  а также  1111). 

3.6.7.  Оценка  параметров  корреляционной  функции.  Рас- 
смотрим задачу  оценки  неизвестных  параметров  О ь . . .,  г1),,, 
корреляционной  функции  В (/,  у;  . . .,  і)т)  нормально- 
го случайного  процесса  с нулевым  средним.  Для  того  чтобы 
исключить  сингулярность,  предположим,  что  к процессу 
добавляется  белый  нормальный  шум  со  спектральной  плот- 
ностью АД.  Таким  образом,  корреляционная  функция  изу- 
чаемого случайного  процесса  | (/)  представляется  суммой 

ві  (Д  у)  = N<,8  (у-і)-фВ  (/,  у\  О,  (3.218) 
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Воспользуемся  выражением  (3.123)  логарифма  функционала 
отношения  правдоподобия,  полагая  в этом  выражении 

В\{1,  и)  В~.  (/,  и)  и В0((,  и)  = М06((  ~ и) 


ІП  / ИО;  #1,  ■ ■ • , *>т]  = ~ 2 («1,  . . • , #т)-  1]  X 

к—  1 

> [ $ х(і)Чк(1;  Пи  . ..и'),,,) * ]2- 

1пЫ#і.  #т),  (3.219) 

к=  1 


где  в соответствии  с (3.120)  срй  и ^ — собственные  функции 
и собственные  числа  линейного  интегрального  уравнения 

т 

55  [В(/,  ы;#!,  ■ От)4-1Ѵ06  (/-«)- ЯУѴ0б(^  — ц)]ср(н)^ц  = 0 

-Г 


*Ѵ0  (А. — 1)  С|  (?)  ^ в (Л  и-  . . .,  яѴ)ф(«)Ал  |*|<7\ 


(3.220) 


причем  собственные  функции  нормированы  согласно  (3. 120'): 
г 

ЛѴі/;(0і,  . . .,  От)  55  фл(*;  Оі,  . . #т)ф„(/;  . ..,®т)с11  = 

-Т 


I 1,  к=г-п, 
(0,  кфп. 


(3.221) 


Принимая  максимум  функционала  отношения  правдо- 
подобия как  критерий  качества  оценок  1 , . . .,  {}т  неиз- 
вестных параметров,  находим,  что  эти  оценки  должны  удов- 
летворять системе  уравнений 

-щ- |п  1 [X  (0;  #1.  • ■ ■ - #т]  о,  І-  1 , . . . , гп,  (3.222) 

в которую  следует  подставить  выражение  1п  / [х  ( і ); 
0ь  • • .,  #т1  из  (3.219). 
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Рассмотрим  подробно  тот  случай,  когда  корреляционная 
функция  В ({,  у)  известна  с точностью  до  постоянного 
множителя,  т.  е. 


В(і,у)  = сЯ(і,у).  (3.223) 


Для  стационарного  нормального  случайного  процесса  не- 
известным параметром  с может  быть  дисперсия;  тогда 
В (і,  У)  — В (у  — і)  представляет  известный  коэффициент 
корреляции. 

В рассматриваемом  случае  интегральное  уравнение 
(3.220)  преобразуется  к виду 
т 

Ф (і)  = р,  ^ В (Л  и)  ф (и)  сіи,  1 1 \ < Т,  (3.224) 
-т 
где 

^ = уѴ0  (А.  — 1)  * (3.225) 


Из  последней  формулы  также  следует,  что 


Я 


1 + 


С 

Л'оц  ’ 


(3.226) 


Запишем  теперь  функционал  логарифма  отношения 
правдоподобия,  подставляя  (3.226)  в (3.219).  С учетом 

нормировки  фь  (і;  с)  = . 1 фь  (0  получим 

Ум  (Ук 


1п  [х  (/)  | с] 


оо 


к~  і 


С гр 

^ *(0ф*(0<й]"  — 


к=  1 


(3.227) 


Дифференцируя  (3.227)  по  с,  находим  уравнение  макси- 
мального правдоподобия 


■^-1п/[*(*|с)]  = 


1 Ч' 


2/Ѵп 


2 

к=  1 


(’+уѴоЦй)  ^і'+УѴо^)  . 


X 


х [ 5 х(0фй(0^]2-у2 

—Т  к=: 


1 

к—  1 5'оШі  ^ 


М0Цк 


> 
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или 


(3.228) 


Решая  уравнение  (3.228)  относительно  с,  получаем 
оценку  максимального  правдоподобия.  В этом  уравне- 
нии и фА  (()  — собственные  числа  и функции  интеграль- 
ного уравнения  (3.224).  Конечно,  вычисление  оценки  макси- 
мального правдоподобия  в явном  виде  из  (3.228)  весьма 
трудоемкое.  Ясно,  что  эта  оценка  получается  в результате 
нелинейных  операций  над  наблюдаемой  реализацией  х ((). 

Определим  нижнюю  границу  дисперсий  несмещенных 
оценок  параметра  с корреляционной  функции.  Для  этого 
вычислим  величину  информации  по  Фишеру  [см.  (3.149)]: 


4/Ѵ 


/(с)=ті{(і1п/И0М)2}  = 

оо  оо 

‘г2  2 ™,{[ — 73 5 1 

і[Л'.»*»(>+яу  м(нД-) 


X 


X 


/о'М  (і+д^)2 


V 


2 


X ті  I 


где 


о " Л . С \ 2/  С \ 2 л 


Т 


г\к  = 


§ йі 

-т 


нормальная  случайная  величина  с нулевым  средним 
и дисперсией  М0 -)-  — , а щ и г\п  при  кфп  независимы. 
Поэтому  при  к фп  гпЛ 


а при  к = п 

гпі  [ (лі — } = ті  К4  — (л'о  + ^ ) 


= 2(ІѴо  + І)  • 


Тогда 


І(с)  = 


2Л/п 


.у  _!_ 

Ь іхі 


5 -1  Й 


(1+^) 


(3.229) 


Согласно  неравенству  Рао— Крамера  [см.  (3.150)]  находим, 
что  дисперсия  несмещенной  оценки 

2К  


М 2 {с} 


(3.230) 


2ттт72іѵ 

й=1  Н Д /0цй] 


Нижнюю  границу  дисперсии  [правую  часть  неравенства 
(3.230)]  можно  с учетом  (3.225)  переписать  в виде 

2 Л' о 


Ж 


2тіп  ‘ 


(3.231) 


2 (щЛьГ2 

Й=1 


Вводя  функцию  к(і,  у)  согласно  (3.132),  которая  пред- 
ставляет решение  интегрального  уравнения  [см.  (3.134)] 

§ К{і,  у)к(ѵ,  у)<1у  + ^гк(ѵ,  1)  = ѵ),  (3.232) 


-Г 


получаем  из  (3.231)  выражение  нижней  границы  дисперсии 
оценки  параметра  с в виде 

2с2 


М2  тіп  — Т Т 

5 о,  у)  аі  сіу 


(3.233) 


-Т  -т 

так  как  из  (3.132)  следует,  что 
т т 


11  ^ о 

? и.(Л!,)Л^=2  (^)2=^ 2 

21  у &=1  & — 1 
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Если 


/Ѵо 


-~т  У 1,  то  из  (3.232)  в качестве  приближенного 
решения  интегрального  уравнения  можно  принять 


Іі(ѵ,  ѵ). 


(3.234) 


Тогда  для  нижней  границы  дисперсий  оценки  параметра  с 
имеет  место  асимптотическое  соотношение 


М 


‘2  тпіп 


№ 


С2 


уу  ^ ^ /?2  (и,  ѵ)  сіи  йѵ 


(3.235) 


-т 


Для  стационарного  в широком  смысле  процесса 
т т 2 т 

§ § Я2(и,  ѵ)сІисІѵ=  ^ (2Г  — | т |)^2  (т)  сІт 
-т  - Т -2Т 

и соотношение  (3.235)  может  быть  переписано  в виде 

Щтіп  ( N 0 \ 2 г.  0г,Г,. 

“Д \1г)  кт'  (3.23о  ) 

где 

2 т 

I ^2(т)ц[т.  (3.236) 

— 2Т 


Заметим,  что,  используя  (3.226),  можно  формулу  (3.231) 
переписать  в виде 


^2 гпіп  _ 2 

С2  00 


(3.236') 


При  іУ0  ->  0 знаменатель  в (3.236')  неограниченно  возраста- 
ет (и*  от  N о не  зависит)  и соответственно  М1тіп  ->  0.  Это 
У называет  на  возможность  оценки  параметра  без  смещения 
и с нулевой  дисперсией  при  отсутствии  аддитивного  белого 
шума,  что  соответствует  рассмотренному  выше  сингуляр- 
ному случаю  [см.  (3.130)1. 

Рассмотрим  теперь  следующий  специальный  класс  нели- 
нейных оценок  неизвестного  параметра  с корреляционной 
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функции  нормального  случайного  процесса  (рис.  21): 
т т т 

С—  ^ ^ Н((,и)х(і)х(и)с1і(іи  — М0  \ к(і,і)сМ.  (3.237) 
-т  -т  -т 

Нетрудно  убедиться,  что  эти  оценки  несмещенные  при 
условии 

т т 

к (/,  и)  Я (/,  и)  сі(  йи  = 1 , (3.238) 

-т  -г 


т 


М0$Н(і,і)сІі 

-т 


Рис.  21.  Блок-схема  устройства  для  опенки  амплитуд- 
ного множителя  корреляционной  функции. 

так  как  с учетом  (3.218) 

т т т 

ггіі{с}=  ^ ^ к{(,  и)В%((,  и)сіі(іи  — М0  ^ к({ , і)сМ  = 

- т -т  —т 

т т 

— с ^ ^ к((,  и)В((,  и)  сіі  сІи  = с. 


-т  -т 


Дисперсия  оценки  (3.237)  равна 

М2{с}  = гп1  {с2}  — с2 


т т т г 


= § § § ^ к(і,  и)к(ѵ,  у)т1{х(1)х(и)х(ѵ)х{у)}  х 

-Т  -Т  ~т  -т 

т т т 

X сіісіисіѵ  сіу  — 2Ы0  ^ к(і,1)йі  ^ \ Н(і,  и)Ві(і,  и)(1іс1.и-\- 

-т  -т  -т 

т 

+ К ( § к {і,  ()сНу~  с2. 
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Используя  известное  выражение  для  смешанного  момента 
четвертого  порядка  нормального  случайного  процесса  (см. 
задачу  4.5  в первой  книге),  получаем  с учетом  (3.218) 
и нормировки  (3.238) 

т т 

М2  {с}  =2 N1  ^ § к (і,  ѵ ) к (ѵ,  і)  сП  сіѵ  + 

-Т  -т 

т т т 

+ 4УѴ0С  ^ ^ § к{{,  и)к(і,  у)  К (и,  у)  сіи  сіу  сП  + 

-Т  -Т  -т 
т т т т 

+ С2  \ *\  *\  *\  /г  (г,  и)к(ѵ,  у)[К((,  ѵ)К{и,  у)  + 

У У У «1 

-Т  -Т  -Т  —Т 

+ Я{1,  у)  К {и,  у)]  сП  сіи  сіѵ  Ну.  (3.239) 

Определение  весовой  функции  к(і,и),  для  которой 
дисперсия  М2{с } минимальна  при  условии  (3.238),  пред- 
ставляет сложную  задачу  вариационного  исчисления.  Однако 
нетрудно  решить  эту  задачу  для  предельных  случаев  малых 

и больших  отношений  . 

сТ 

Если  > 1,  то  сформулированная  выше  задача  сво- 
дится к минимизации  функционала  [первого  члена  в (3.239)] 
т т 

^ ^ к ((,  ѵ)  к ( ѵ , і)  сП  сіѵ 
- т -т 

при  условии  (3.238)  Решение  имеет  простой  вид: 

к (/,  и)  = • (3-240) 

^ Яг  (и,  г)  Ли  Лѵ 
-т  -т 

Следовательно,  в рассматриваемом  случае 

т г 

$ «2  (Ц  „)  <Ц  іѵ 

М2  {с}  ~ 2Л/„  - 

( ^ \ К'1  {и,  ѵ)  Ли  ЛѵУ 

-т-т 
т т 

= 2/Ѵ„[^  ^ К2  (и,  ѵ)  ПисІѵ~^  1 , (3.241) 

-т  -т 
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что  по  существу  не  отличается  от  (3.235). 

Итак,  при  > 1 несмещенная  оценка 

т т 

с ~ ~т — т ^ В {1,  и)  х (()  х (и)  сі(  сіи  — 

^ \ К2  (и,  ѵ)  сіи  Уѵ  ~т  —Т 

-Т  -т 

т 

-Л^о  ^ В (1,1)  с//]  (3.242) 

-т 

представляет  асимптотически  эффективную  оценку. 

Для  стационарного  нормального  процесса  (3.242)  может 
быть  записано  в виде 

- 1 

С = ~2Т X 

5 ('-тгН’М* 

-2  Т 
т т 

X Уг  § § В(1  — и)  х (і)  х (и)  (К  сіи  — ІѴ0^  . (3.243) 

—Т  -т 

В другом  предельном  случае,  когда  — > О, 

т т т т 

М2  {с}  ->  с2  ^ ^ ^ ^ Н ((,  и)  Н (і и , у)  х 

— Т -Т  -т -т 

Х[В(1,  ѵ)В(и,  у)-\- В(1,  у)  В(и,ѵ)]сіІ  йисіѵ  йу>  0.  (3.244) 

Таким  образом,  в классе  рассматриваемых  несмещенных 
оценок  дисперсия  оценки  даже  при  ->  0 (когда  возмож- 
на сингулярность)  ограничена  снизу  величиной,  отличной 
от  нуля. 

3.6.8.  Оценка  корреляционной  функции.  В предшествую- 
щих разделах  рассматривались  оценки  неизвестных  пара- 
метров функции  распределения  случайного  процесса.  В не- 
которых ситуациях  для  заданного  вида  распределений 
неизвестными  оказываются  детерминированные  функции, 
характеризующие  распределение.  К числу  таких  функций 
относятся,  прежде  .всего,  корреляционные  функции  и энер- 
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гетический  спектр  стационарного  (в  широком  смысле) 
случайного  процесса.  В этом  и следующем  разделах  рас- 
сматриваются оценки  указанных  функций  по  одной 
реализации  х (()  процесса,  наблюдаемой  на  интервале 

Известно  (см.  § 4.1.6  в первой  книге),  что  для  эргоди- 
ческих  случайных  процессов  временное  среднее 

т 

= ~ ^ х(і)х(і  + т)аі  (3.245) 


сходится  при  Г->оо  по  вероятности  к корреляционной 
функции  В (I)  случайного  процесса.  При  дополнительных 
предположениях  (например,  нормальности)  имеет  место 
сходимость  Вт  (т)  к В (т)  в среднеквадратическом  (см. 
задачу  4.2  в первой  книге). 

Естественно,  в качестве  оценки  неизвестной  корреляцион- 
ной функции  В (т)  случайного  процесса  можно  взять  выбо- 
рочную временную  корреляционную  функцию  (3.245).  Одна- 
ко она  неудобна  в том  смысле,  что  для  ее  вычисления  при 
любом  | т | ■<  Т необходимо  иметь  значения  реализа- 
ции х (()  вне  заданного  интервала  наблюдения  (-Т,  Т). 
Поэтому  в качестве  оценки  корреляционной  функции  В (т) 
принимают  функцию  ѵ 7 

В(т)  = Я*(т)  = 


27*—  | т | і Х(І  !)*(^  + 1г)  (3.246) 

-ТЛ.ИІ 


Оценка  (3.246),  так  же  как  и (3.245),  состоятельная  и не- 
смещенная. Последнее  следует  из  того,  что  среднее  по  мно- 
жеству реализаций 

ті  (Я*(т)}  = 

т-  ІІІ 
2 

= 2Г  — I х I 5 * (*  + т)  } М = В(х). 

_г+ш 

(3.247) 
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Для  того  чтобы  определить  дисперсию  оценки  (3.246), 
найдем  сначала  второй  момент  случайной  величины  Вт{ т): 


т- 


I т | 


т- 


I т I 


*»{ДНх)}  = й7Г=?П1*  5 5 т‘И“-т)х 


-Т+Ііі  -г+4> 


XX  («+  у)  X («-|)  А-  [ѵ  + ±)}йи<1ѵ.  (3.248) 

Из  предположения  о стационарности  следует,  что  четвертый 
момент  іп ! |.ѵ:  (и  — у)  х (ц  + у)  х (и—  у)  * (у  + ?г ) } 

зависит  только  от  двух  аргументов:  т и ѵ — и.  Обозначая 
этот  момент  символом  М (т,  ѵ — и),  перепишем  (3.248) 
в виде  *) 


М 


т- 


I т | 


т2{В*т(  т)} 


1 


(2Т  — | т |)2 

2Т  — | X | 


Л ^ М(х,ѵ  — и)йи(іѵ  = 


Т+-Ш-  - т+ 


' (27- 


$ (27  — | т | 1 2 1)  Л4  (т,  г)йг. 


Так  как 


-2Т+|Т| 
2Г-І  т 


(27- 


$ (27  — | т | — \г\)сіг  = \, 


-2Т+|Х  | 

то  с учетом  (3.247) 

М2  № (т)}  = т2  {Вт  (т)}  - Б2  (т)  = 

- ‘ т " V (2Г  — | х | \г\)[М(т,  г)  В*(т)]  йг. 

-2I+,^I  (3.249) 

Для  нормального  стационарного  случайного^  процесса 
момент  четвертого  порядка  равен  (см.  задачу  4.5  в первой 
книге) 

М (т,  г)  = В2  (т)  + В2  (г)  + В(т  + г)В(х-  г).  (3.250) 


*)  Переход  от  двойного  интеграла  к одномерному  аналогичен 
преобразованию  (4.60)  в (4.61),  приведенному  в первой  книге. 
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Подставляя  (3.250)  в (3.249),  получим  для  дисперсии  оценки 
корреляционной  функции  нормального  процесса  следующее 
выражение: 

2Т-ІТ  і 

Мо  {Вт  (т)}  = 2Г  — | т | 5 ( 1 ~ 27’  — 1 х | ) Х 

о 

X [В2  (2)  + В (Т  + 2)  В (т-2)]  ^2.  (3.251) 

Распределение  вероятностей  оценки  (3.246)  можно  найти 
методами,  указанными  в § 9.3  первой  книги.  Из  приведен- 
ных там  результатов  следует,  в частности,  что  при  Т ->  оо 
эта  оценка  асимптотически  нормальна  со  средним  В (т) 
и дисперсией: 

ЛП{ВИт)}  [ВЦг)  + В{х  + г)В{т-2)](І2.  (3.252) 

о 

При  т = 0 из  (3.246)  находим  несмещенную  оценку 
средней  мощности  стационарного  случайного  процесса 

т 

т*  = В*Т  (0)  = -±г  ^ х2  (/)  Л,  (3.253) 

-т 

дисперсия  которой  для  нормального  процесса  согласно 
(3.251)  равна 

2 т 

М2  {т  1}  = ^ ( 1 - іг)  В2  {г)  йг.  (3.254) 

о 

При  Т — > оо  оценка  (3.253)  средней  мощности  асимпто- 
тически нормальная  со  средним  В(0)  и дисперсией 

М2{тЪ}~-$г  $ В*(г)(1г.  (3.255) 

о 

Заметим,  что  оценка  (3.253)  является  частным  случаем 
(3.237)  при  N(,  = 0 и к (/,  и)  = ~^{і  — и).  При  этом  фор- 
мула (2.239)  переходит  в (2.254). 

Приведенные  выше  результаты  нетрудно  распространить 
на  оценку  взаимной  корреляционной  функции  В ^ (т)  двух 
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стационарных  и стационарно  связанных  процессов  ^ (/) 
и т)(0-  Аналогично  (3.246)  имеем 


^ітіт(т)  2Г — | т | ^ х у)  У (*  + у)  |х|<7, 

-г+іт- 

(3.256) 

где  * (0  иг/  (^)  — реализации^  процессов  § (()  и ц (/)  соот- 
ветственно, наблюдаемые  на  интервале  времени  ( — Т,  Т). 

Оценка  (3.256)  несмещенная,  а ее  дисперсия  равна 
[ср.  (3.249)] 

М2  {^Ѵ(т)}  = 

2Т-|т| 

— 2Г  — | т | ^ О 27'  — I т I ) (т’  2)  В\ц  (т)]  йг, 

-2Г+|т| 

(3.257) 

где 

М&ч(т>  г)  = т4{х  (и-у)  г/  (гг+|)х  (о- г/(о  + у)}  . 

(3.258) 

3.6.9.  Оценка  энергетического  спектра.  Примем  сначала 
в качестве  оценки  непрерывного*)  энергетического  спектра 
стационарного  случайного  процесса  по  его  реализации  х (() 
на  интервале  (-Т,  Т ) величину  (см.  § 4.7.3  в первой  кни- 
ге) **) 

Р (со)  = Ст  (со)  = ~ | Іт  (гео)  |2,  (3.259) 

где 

т 

2Г  (гео)  = ^ (3.260) 


*)  Предполагается,  таким  образом,  что  среднее  процесса  равно 
нулю  и он  не  содержит  квазидетерминированных  составляющих. 

**)  В статистической  литературе  оценку  От  (ш)  называют 
пер  иодограммой. 
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Нетрудно  убедиться,  что  оценка  (3.259)  смещенная. 
Используя  (4.61)  первой  книги,  запишем 


*і  {Ст  (со)}  = Рт  (со)  = 4 ^ ^ 1 -у-]  В (т)  соз  сот  сіт  = 

о 

т 

Р (со)  — 4 ^ т В (т)  соз  сот  сіт  + ^ В (т)  СОЗ  СОТ  СІТ | . 


Следовательно,  смещение  оценки  энергетического  спектра 
при  заданном  Т равно 

Р (со ) — Рт  (со)  = 
т 

= у ^ тВ  (т)  СОЗ  СОТ  СІТ  + 4 
о 


^ В (т)  соз  сот  сіт,  (3.261) 
т 


где  В (т)  — корреляционная  функция  процесса. 

Однако  из  (3.261)  (как,  впрочем,  и из  определения 
энергетического  спектра)  следует,  что  оценка  (3.259)  при 
Т — » о°  асимптотически  несмещенная,  так  как 

Пт  РТ  (со)  = Т7  (со), 

Т-+оо 


при  условии,  ЧТО  тВ  (т)  СІТ  < ОО. 
о 

Найдем  дисперсию  оценки  (3.259)  энергетического 
спектра  нормального  случайного  процесса.  Для  этого  опре- 
делим сначала  ее  второй  момент:  і 

т2  {0Т  (со)}  = /п4  {(?г.  (со)}  = 
т т т т 

= 7Т  5 5 5 $ {*  {()  X (у)  X {и)  х (о)  } х 

-т -т -т -т  ш 

X е-іт((_у+и-ю)  сП  йу  йийѵ\ 

так  как  для  нормального  процесса  (см.  задачу  4.5  в пер- 
вой книге) 

Щ Iх  (0  х {у)  х (и)  х (о)}  = В(у  — 1)  В(ѵ  — и)  + 

+ В(и  — і)В{о  — у)  + В{ѵ  — і)В(и-у),  (3.262) 
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то  (см.  (4.60)  в первой  книге) 

т т т т 

т2  {От  (со)}  = у2-  § § § § [В(у  — ()В(ѵ  — и)  + 

-т  -т  -т  -г 

+ В (и  — I)  В (ѵ  — у)  В (ѵ  — I)  В (и  — у)]  е~ х 

т т 


X йі  сіу  йи  йѵ  2Р\  (со)  + ^ ^ В (і  — и)  X 

-г  -г 

т т 

X е~і(°((+и>  (II  йи  ^ ^ В (у  — у)  еім<у+*)  сП/  йѵ 


или 


-т  -т 
т г 


/я2  {СГ  (со)}  = 2Бу  (со)  + — | ^ ^ В (и  — і)  е~іаІ-1+и'>  й{  йи\ 


- Т —Т 


(3.263) 

Используя  (3.263),  находим  искомую  дисперсию  оценки: 
М2  {Ст  (со)}  = ш2  {От  (со )}  — т\  {0Т  (и)}  = 


т т 


= /ГН«в)  + уі-|  5 5 в{и-()е-^‘+^йійи  2 . (3.264) 


-т  -т 


Так  как  при  Т — » оо  и шфО 
т т 

уз  | ^ ^ В {и  — ^)  е-іи((+и)  й(  йи  — 

"Г"ІПМ(^)!,  (3.265) 

то  второе  слагаемое  в (3.264)  при  Т оо  и со=^=0  стре- 
мится к нулю  и,  следовательно, 

Пт  Л42  {От  (со)}  = Г2  (со).  (3.266) 

Т—+  оо 

При  » = 0 и Г — > со  из  (3.264)  непосредственно  следует 
Ііш  Л42  (Ог(0)}  = Б2  (0). 

Т— изо 

Таким  образом,  для  всех  со,  при  которых  В (со)  > 0, 
дисперсия  оценки  энергетического  спектра  не  стремится 
к нулю  при  Т — у оо.  Иначе  говоря,  оценка  не  сходится 
в среднеквадратическом  к оцениваемому  спектру  при  Г-*-  оо. 
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Сохранив  предположение  о нормальности  процесса, 
можно  найти  распределение  вероятностей  оценки  (3.259) 
его  энергетического  спектра.  Эта  оценка  представляет 
сумму  квадратов  нормальных  случайных  величин 


I Р 

— -р=-  \ X (/)  С05  со/  СІІ, 
V Т ѵ 

ѵ -Т 


1 

у? 


т 

^ X (/)  5ІП  О)/  СІІ, 
-Т 


средние  значения  которых  равны  нулю,  а их  дисперсии 
и ковариация  равны  соответственно 

т 

Охе  (ш)  = ^ X (/)  СО 5 со/  (ІІ^  | = 

-г 

т т 

= — ^ ^ В (ѵ  — и)  соз  ашсозаш  йѵ  йи,  (3.267) 
-т  -т 

т 

°т3  (ш)  =ті  ^ х(і)  зіпсо^Л)2 1 = 

-Т 

т т 

= -у-  ^ ^ В (а  — и)  зіпсоц  зіп  сом  йѵ  сіи,  (3.268) 
-г  -т 

т т 

1Пт{Ь))~ГПі  {-1-  ^ X (()  С05  (йІ  СІІ  ^ х(І)  5ІПСо/(І^|  = 

-Г  -т 

т т 

= — ^ В (ѵ  — и)  соз  іоо  зіп  аѵ  ііѵ  сіи.  (3.269) 


-т  -т 


Используя  формулу  (3.116)  первой  книги,  запишем 
теперь  выражение  характеристической  функции  оценки 
энергетического  спектра: 

оо  оо 

Ѳсг  ^ = 2патсатзу  г^щ  5 5 6Хр  { “ 2 (1  -Яат)  Х 

’ 1 — оо  —оо 

х (4г ' ~ 2/?т  ЙЙг  + 4г)  + (ЛІ  + ^ } ^Х2  = 

= — 5 5 ехР  {й  (УІ  - 2%тУ,У2  + 1/2)  + 

— оо  — оо 

+ ІѴ  (1  — {ОтсУІ  + ОТеУІ)}  СІУі  <іу2, 
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где  обозначено 


п _ тт 

АГ  — • 

аТсаТ8 


(3.270) 


Вычисление  интеграла  производим  согласно  приложе- 
нию II  первой  книги.  Получим 

Ѳ<5Г  (н)  = У 1 — Кт  [ 1 — 2іП  (I  - /?г)  (б Тс  + сгтв)  — 

— 4о2  (1  — Кт)2  о'тсв^гз  — /?т]  2 

или 

Ѳог  (о)  = [1  — 2 іѵ  (отс  + от8)  — 4о2  (1  — Кт)  сттсОг6]  2 . 

(3.271) 


Обратным  преобразованием  Фурье  *)  находим  искомое 
распределение  оценки  энергетического  спектра  нормального 
случайного  процесса: 


№ст(г) 


X/ 


1 Г _ аТс  + аТз 

2 аТсаТз  У 1 — Щ I-  4сттсатв  1 1 ~ ^т) 

V (аТс~  аг8)2  + 4атсстт«^г  7 7 п 

Ч 4о’Тсо*т,(1-Щ) 


г]  X 

(3.272) 


Согласно  определению  энергетического  спектра 

Ііш  о тс  (со)  = Нт  От8  (со)  = -ттР  (со),  (3.273) 

Т-*оо  Т-УОО 


1іштг(со)  = 0.  (3.274) 

Т—Уоо 


Из  (3.272)  следует,  что  при  Т — » оо  оценка  энергетического 
спектра  имеет  в пределе  экспоненциальное  распределение 
вероятностей 

г 

2>0  (3-275) 

с параметром  Р (со)  [т.  е.  среднее  равно  і7  (со),  а дисперсия 
Т72  (со)  находится  в полном  согласии  с (3.266)]. 

Хотя  рассмотренная  выше  оценка  Р (со)  = Ст  (со)  энер- 
гетического спектра  случайного  процесса  асимптотически 
несмещенная,  она  обладает  тем  недостатком,  что  увеличение 

*)  См.,  например,  [5,  т.  2,  стр.  328]. 
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времени  наблюдения  над  реализацией  случайного  процесса 
не  позволяет  достигнуть  желаемой  точности,  так  как  даже 
при  Т ->  оо  дисперсия  оценки  остается  конечной.  Поэтому 
рассмотрим  также  класс  смещенных  оценок  с дисперсией, 
убывающей  при  увеличении  времени  наблюдения. 

Выберем  в качестве  оценки  непрерывного  энергетическо- 
го спектра  стационарного  случайного  процесса  следующую 
случайную  величину,  представляющую  функционал  от 
наблюдаемой  на  интервале  ( — Т,  Т)  реализации  процесса: 


Р (со)  = 8т  (со)  = 

т т 

= Т"  ^ | ^ х (и)  к (і  — и)  е~іаи  сіи 
-т  -т 


йі, 


(3.276) 


где  к (т)  — весовая  функция,  которую  можно  трактовать 
как  импульсную  переходную  функцию  некоторого  линейно- 
го фильтра.  Оценка  (3.276)  получается  усреднением  по  вре- 
мени на  интервале  наблюдения  суммы  квадратов  процессов 
на  выходе  упомянутого  фильтра,  когда  на  вход  действуют 
процессы  х (I)  сов  соі  их  ( I ) зіп  со  і. 

Вводя  преобразования  Фурье  2Т  (ісо)  для  реализации 
х (і)  и к (ісо)  для  импульсной  переходной  функции  к (т) 
(см.  (5.5')  в первой  книге),  перепишем  (3.276)  в виде 

Т Т Т оо  оо  оо  оо 

ПЙШ 

— Т — Т — Т — оо  — оо  — оо  — оо 

X 2Г  (ісо2)  к (ісо3)  к (ісо4)  ехр  [ іи  (со±  — ю3  — со)  + 

+ іѵ  (со2  — со4  + со)  ф-  іі  (со3  + со4)]  йи  йѵ  <іі  сісо1  с/со2  сіс о3  сісо4. 

(3.277) 


Усредняя  обе  части  (3.277)  по  множеству  реализаций, 
переходя  к пределу  при  Т ->  со  и используя  фильтрующее 
свойство  дельта-функции  (см.  приложение  III  в первой  книге) 

оо 

6 (со)  = ^ еіши  йи, 

— оо 

получаем 

оо 

тѵ  {8т  И}  - ~ 5 р (“  + ѵ)  °2  (ѵ)  <3'278) 

— оо 

где 


С2  (со)  = | к (ісо) 
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Из  (3.278)  видно,  что  оценка  (3.276)  смещенная.  С уче- 
том нормировки  характеристики  фильтра 

4т  $ °2  (ѵ) = $ Л2  (х)  * = 1 (3.279) 

асимптотическое  смещение  оценки  можно  представить  в виде 
(со))  - Р (со)  - ~ 5 [Р  (ѵ)  - Р (со)]  С2  (ѵ  - со)  с/ѵ. 

(3.280) 

При  дополнительном  предположении  нормального  рас- 
пределения процесса  х (/)  можно  найти  асимптотическое 
выражение  (при  Т ->  оо)  для  дисперсии  оценки  (3.276)  [15]: 

М2{8тП}~^-Р2((о)  ^ С4  (со)  с/со.  (3.281) 


При  сглаживающем  фильтре  типа  7?С-интегратора  (см.  § 5.2.3 
в первой  книге)  с учетом  нормировки  (3.279) 

С2(со)  = _ 

1 + 

из  (3.281)  получаем 

Мо  {§т  (со)}  -~Р~  (со),  (3.282) 

т.  е.  для  получения  достаточно  малого  значения  дисперсии 
оценки  время  наблюдения  Т должно  быть  много  больше 

постоянной  времени  ~ = РС  фильтра  (иначе  говоря,  про- 
изведение ширины  полосы  фильтра  и времени  наблюдения 
должно  быть  много  больше  единицы). 


Задачи 


3.1.  Пусть  х (і)  —детерминированная  функция,  спектр  (преобразо- 
вание Фурье)  которой  непрерывен  и ограничен  полосой  частот  (оц,  со2). 
Показать,  что  для  этого  случая  справедлива  следующая  интерполя- 
ционная формула: 


5ІП 
\ 1 

)] 

д( 

'-т) 
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(1) 


где 


М2  — СО, 


Ш0  = 


(02  + Сй!  _ 


2 ’ ”и_  2 
Л2  (0=«2  (!)  + а2  (!); 

ст(/) 


ф (!)  = агсі§ 


* (О 


(2) 

(3) 

(3') 


0 (0 — преобразование  Гильберта  от  5 (!)  (см.  приложение  VII  в пер- 
вой книге). 

3.2.  Показать,  что  площадь  под  детерминированной  функцией 
! (!),  имеющей  непрерывный  спектр,  тождественно  равный  нулю  при 
| а | > Д,  равна 


оо  оо 

5 /(«"-Т  1 /(тг)- 


(4) 


Используя  (4)  и (4.67')  в первой  книге,  показать,  что  время  корре- 
ляции стационарного  в широком  смысле  случайного  процесса,  энерге- 
тический спектр  которого  непрерывен  и ограничен  полосой  частот 
( — Д,  Д),  равно 


*0  = 


й 2 «т. 


(5) 


где  К (т)  — коэффициент  корреляции  процесса. 

3.3.  Имея  в виду,  что  амплитудный  спектр  функции 
зіпД  (!-!„)  _ ^ 

■ д ^ ^ — при  любом  фиксированном  Іо  обращается  в нуль  при 

| со  | .>  Д [см.  (3.11)],  доказать  справедливость  равенства 


зіп  Д (I  — !0) 

Л (і  — іо) 


у 


5ІП  Д | 

| 5ІП  Д 

('-дг) 

Д 

лп  \ 

д 

лп  \ 

0 д і 

~ д ) 

(6) 


Доказать  (6),  используя  ортогональное  разложение  корреляционной 
функции  (см.  § 3.3.2). 

3.4.  Для  любого  фиксированного  !0  получить  следующее  обоб- 
щение формулы  (3.4): 


Пі) 


оо 

2 Ф+т) 


5ІІ1 

|> 

( лп 

Ѵ~І0~-А 

■)] 

*( 

1 

о 

7 

1 

(7) 


3.5.  Показать,  что  оценка  максимального  правдоподобия  ампли- 
туды а квазидетерминированного  процесса  аз  (!)  по  наблюдаемой 
на  интервале  ( — Т,  Т)  реализации  х (!)  суммы  этого  процесса  и ста- 
ционарного нормального  марковского  процесса  с дисперсией  о2 

273 


18-197 


и коэффициентом  корреляции  Я (т)  = ехр  ( — р | х |)  имеет  следующий 
вид: 

а=  |%  (— - Т) «'  ( — Т) ^ х ( — Т)  + {Т) — 8'  (Т) ^ х (Т)  + 

+ р ^ ^Я(0-— 5'(0]*(0л}  [*г(-Г)+«»(Л  + 

-Т 

+ р ^ {*2(0+Дт[*'(0]2}  л]'1-  (8) 

-т 

Доказать,  что  оценка  (8)  несмещенная  и что  ее  дисперсия  равна 
[ср.  (3.112)] 

М2  {а}  = 2а2  [а2  ( ■ - Т)  + 52  (Т)  + 

+р  $ {8Я(0+1^[8,(012}  аіТш  (9) 

-г 


Рассмотреть  частный  случай  5 (I)  ==  1 и убедиться,  что  при  этом 


*(-Л+*(Л  + и X *(0 

-Т 

= 2(1  + рТ) 


и при  рГ  » 1 


^2  {О}-  1+и+ 


“~2Г  5 


М2  { а } 


(10) 

(П) 

(12) 

(13) 


Объяснить  причину  совпадения  (12)  с (3.169). 

3.6.  Рассмотреть  задачу  § 3.6.5  в предположении,  что  результаты 
наблюдения  представлены  не  реализацией  х(і)  = &(і\  Фі,  ■••>  Фтпі-Ц 
+ !(/),  а дискретной  выборкой  х = (х1,  ...  Хдг)»  где  хі  = х(іі)  и г;  — 
моменты  времени,  принадлежащие  интервалу  наблюдения  ( /,  Г). 

Показать,  что  оценки  максимального  правдоподобия  параметров 
могут  быть  представлены  в векторной  форме  [ср.  (3.158)] 

д = 8_1Х,  (И) 
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где 


Х = 8'к-1х,  (15) 

§ = 8'к-1з.  (15') 


Здесь  к — нормированная  корреляционная  матрица  случайного  слагае- 
мого ^ ( і ), 


N 

іг  К 


(16) 


где  Іг  К — след  корреляционной  матрицы’  К,  а 8 — матрица  размером 
N х т с линейно-независимыми  (в  алгебраическом  смысле)  столбцами, 
причем  у-й  столбец  матрицы  представляет  вектор  с компонентами 
5 ](1у),  ....  г);  /=  1,  т.  Штрихом  обозначена  транспониро- 

ванная матрица.  Доказать,  что  оценка  (14)  несмещенная,  а ее  кор- 
реляционная матрица  равна 

М=-^-5-і.  (17) 


3.7.  Показать,  что  в условиях  задачи  3.6  совместная  байесовская 
оценка  совокупности  параметров  Д = (Оі,  ...,  ®т)  при  квадратичной 
функции  потерь  имеет  следующий  вид: 

,5  $Щп  (в)  /дг  (х  | #)  йЪ 


| Ыт  (О)  Ік  (х  \®)М 
а 


где  \ют  (в)  — совместная  априорная  плотность  вероятности  оцениваемых 
параметров  и П — область  т-мерного  пространства,  на  которой  задана 
эта  плотность,  а функция  ( х | О)  определяется  из  соотношения 

Ых|Ф)  = ехр  2^(х  — 8ф)'к-і(х  — ®д)|  . (19) 


3.8.  Найти  нижнюю  границу  М^тіп  дисперсии  несмещенных  оценок 
параметра  о2  нормального  стационарного  марковского  процесса,  кор- 
реляционная функция  которого  представлена  формулой  (3.109),  в ад- 
дитивном нормальном  белом  шуме  со  спектральной  интенсивностью  N 0 
по  реализации  суммарного  процесса  на  интервале  ( — Т,  Т).  Дока- 


зать, что  при 


Л'о 

оЧ 


> 1 имеет  место  асимптотическая  формула 


Мгтіп  4ц2Г  ( ІѴр  \2 

а4  4р.Г  + е-4,*г — 1 \ °2Т  / 


(20) 


Если  время  наблюдения  много  меньше  времени  корреляции  марков- 
ского процесса  (рГ  «С  1),  то  показать,  что  из  (20)  следует 


М'ітіп  __  _1_  I ^ 

а4  2 \оЧ  ) " 


(20') 


(См.  также  задачу  7.6  в первой  книге.) 


18*  275 


ЛИТЕРАТУРА 


МОНОГРАФИИ 

1.  Вайнштейн  Л.  А.  , 3 у б а к о в В.  Д.  Выделение  сигна- 
лов на  фоне  случайных  помех.  Изд-во  «Советское  радио»,  1959, 
приложение  III. 

2.  Гренандер  У.  Случайные  процессы  и статистические 
выводы.  Пер.  с англ.,  под  ред.  А.  М.  Яглома.  Изд-во  иностран- 
ной литературы,  1961. 

3.  Давенпорт  В.  Б.,  Рут  В.  Л.  Введение  в теорию  слу- 
чайных сигналов  и шумов.  Пер.  с англ.,  под  ред.  Р.  Л.  Добру- 
шина.  Изд-во  иностранной  литературы,  1960,  гл.  14  и при- 
ложение 2. 

4.  Д у б Дж.  Л.  Вероятностные  процессы.  Пер.  с англ.,  под 
ред.  А.  М.  Яглома.  Изд-во  иностранной  литературы,  1956, 
гл.  VII,  § 9. 

5.  Миддлтон  Д.  Введение  в статистическую  теорию  связи. 
Пер.  с англ.,  под  ред.  Б.  Р.  Левина.  Изд-во  «Советское  радио», 
т.  I,  1961,  гл.  4;  т.  II,  1962,  гл.  16. 

6.  Серебрянников  М.  Г.,  Первозванский  А.  Л. 
Выявление  скрытых  периодичностей.  Изд-во  «Наука»,  1965, 
гл.  5. 

7.  X э н н а н Э.  Анализ  временных  рядов.  Пер.  с англ.,  под 
ред.  Ю.  А.  Розанова.  Изд-во  «Наука»,  1964. 

8.  X а р к е в и ч А.  А.  Спектры  и анализ.  Гостехиздат,  1949 

СТАТЬИ 

9.  Беляев  Ю.  К.  Аналитические  случайные  процессы.  «Тео- 
рия вероятностей  и ее  применения»,  1959,  вып.  4. 

10.  Г а е к Я.  Линейная  оценка  среднего  стационарного  случай- 
ного процесса  с выпуклой  корреляционной  функцией.  Чехо- 
словацкий математический  журнал,  1956,  вып.  6. 

11.  Левин  Б.  Р.,  Ш и н а к о в Ю.  С.  Предельная  форма  бай- 
есовской оценки  коэффициентов  регрессии  при  нормальном 
нестационарном  шуме.  «Проблемы  передачи  информации», 
1967,  № 1. 

12.  П и с а р е н к о Б.  Ф.  К задаче  обнаружения  случайного 
сигнала  на  фоне  шума.  «Радиотехника  и электроника»,  1961,  № 4. 

13.  Писаренко  Б.  Ф.  О вычислении  отношения  правдоподобия 
для  гауссовских  процессов  с рациональным  спектром.  «Теория 
вероятностей  и ее  приложения»,  1965,  вып.  2. 

14.  В 1 а с к т а п К.  В.,  Т и к е у 1.  \Ѵ.  Тііе  теазигетепі  о! 

Ро\ѵег  Зресіга  ігот  роіпі  о[  Ііеп  о?  Соттипісаііоп  Епаіпеегіпе. 

В5Т.І,  1958,  № 1,  № 2. 

15.  Огепапбег  11.,  К о 5 е п Ь 1 а ( I М.  Зоте  ргоЫетз  іп 
ез1іта1іп§  11іе  зресігит  о!  Ііте  зегіез.  Ргос.  ТЬігб  Вегкіеу 
Зутр.  Маііі.  Зіаі.,  Боз  Ап§е1оз,  1956,  ѵ.  2. 

16.  К е 1 1 у Е.  Л,  К е е б I.  5.,  К о о 1 \У.  Б.  Тііе  беіесііоп 

о!  габаг  есііосз  іп  поізе.  I.  Л.  Зое.  Іпб.  Аррі.  Маііі.,  1960, 

ѵ.  8,  № 2. 

17.  Н о { з 1 е I I е г Е.  М.  Зоте  гезиііз  оп  іііе  зіосказііс  зі§па1 
рагатеіег  езіітаііоп  ргоЫет.  ІЕЕЕ  Тіапз,  1965,  ІТ-11,  № 3. 


276 


18.  Ь е ѵ і п М.  Л.  Ро\ѵег  зресігшп  рагатеіег  езіітаііоп.  ІЕЕЕ 
Тгапз,  1965,  ІТ-11,  № 1. 

19.  Н е і с Ь Е.,  8 \ѵ  е г 1 і п § Р.  Оеіесііоп  о{  зіпе  \ѵаѵе  іп  уаиз- 
зіап  поізе.  Л.  Аррі.  Рііуз.  Реѵ.,  1953,  ѵ.  24,  Ха  3. 

20.  Зіеріап  Э.  5оте  сотшепіз  оп  Іііе  (іеіесііоп  оі  уаиззіап  зіупаіз 
іп  уаиззіап  поізе.  ЩЕ  Тгапз.,  1958,  ІТ-4,  Ха  2. 

21.  К а і 1 а і Ь Т.  Боте  гезиііз  оп  зіпуиіаг  (іеіесііоп.  Іпіоппаііоп 
апсі  Сопігоі,  1966,  ѵ.  9,  аргіі. 


ГЛАВА 

ЧЕТВЕРТАЯ 


ФИЛЬТРАЦИЯ  СЛУЧАЙНЫХ  ПРОЦЕССОВ 


4.1.  ВВОДНЫЕ  ЗАМЕЧАНИЯ 

В предыдущей  главе  рассматривались  оценки  неизвест- 
ных параметров  и функций,  характеризующих  распреде- 
ление вероятности  случайного  процесса,  по  реализации 
этого  процесса,  наблюдаемой  на  конечном  интервале  време- 
ни. Другой  практически  важной  задачей  является  отыска- 
ние преобразования  наблюдаемой  реализации  для  получе- 
ния наилучшей  в некотором  смысле  оценки  значения  слу- 
чайного процесса  в некоторый  момент  времени  внутри  или 
вне  интервала  наблюдения.  Это  преобразование  в общем 
случае  называют  фильтрацией  случайного  процесса. 

Два  параграфа  этой  главы  будут  посвящены  линейным 
преобразованиям.  Вначале,  пренебрегая  физической  осу- 
ществимостью линейного  фильтра,  используется  неограни- 
ченный интервал  наблюдения,  а затем  вводится  ограничение 
этого  интервала.  Критерием  качества  оценки  значения 
случайного  процесса  служит  в одних  случаях  среднее  по 
множеству  реализаций  квадрата  ошибки,  т.  е.  средний  квад- 
рат отклонения  оценки  от  оцениваемого  значения,  а в дру- 
гих — отношение  мощности  полезного  сигнала  к мощности 
помехи.  Рассматривается  задача  оценки  *)  значения  слу- 
чайного процесса  I (()  по  наблюдаемой  реализации  х (() 
суммы  этого  процесса  с другим  процессом  г]  (/),  коррелиро- 
ванным с \ (і),  а на  основании  общих  результатов  исследу- 
ются некоторые  частные  случаи,  представляющие  интерес 
для  радиотехнических  приложений.  Наряду  с оценкой 
самого  процесса  ^ (()  представляют  также  интерес  оценки 
по  указанной  выше  реализации  х (і),  наблюдаемой  на  неко- 
тором конечном  (или  бесконечном)  интервале  времени, 


*)  Часто  говорят  о выделении  одного  процесса  (сигнала  ) § (I) 
из  аддитивной  смеси  этого  процесса  с другим  (помехой)  і]  ({). 
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линейных  преобразований  этого  процесса.  Рассматриваются 
следующие  виды  линейных  преобразований:  смещение  мо- 
мента оценки  по  оси  времени,  однократное  и многократное 
дифференцирование  и интегрирование,  а также  комбинации 
этих  преобразований. 

Вопросы  нелинейной  фильтрации  по  критерию  минимума 
среднего  квадрата  ошибки  рассматриваются  в § 4.4.  В дан- 
ном параграфе  рассматривается  один  из  возможных  подхо- 
дов к решению  задачи,  связанный  с характеризацией  не- 
линейных систем  при  помощи  бесконечной  суммы  интегра- 
лов Вольтерра.  Получаемое  при  этом  решение  в точном  виде 
не  реализуемо,  и поэтому  исследуются  приближения,  кото- 
рые, однако,  в некоторых  случаях  могут  существенно 
уменьшить  среднеквадратическую  ошибку,  получаемую  при 
использовании  оптимальной  линейной  системы. 

Другой  подход  к точному  решению  задачи  оптимальной 
нелинейной  фильтрации  состоит  в ограничении  класса 
исследуемых  процессов  одномерными  марковскими  или 
компонентами  многомерных  марковских  процессов  [13, 
21].  Наконец,  иногда  используются  квазилинейные  методы, 
основанные  на  использовании  малого  параметра  (например, 
соответствующим  образом  определенного  отношения  сиг- 
нал/шум) [9,  10].  Последние  два  подхода  в этой  книге  не 
рассмотрены,  и для  ознакомления  с ними  следует  использо- 
вать указанные  выше  библиографические  ссылки. 

4.2.  ЛИНЕЙНАЯ  ФИЛЬТРАЦИЯ  ПО  КРИТЕРИЮ 
МИНИМУМА  СРЕДНЕГО  КВАДРАТА 
ОШИБКИ 

4.2.1.  Импульсная  переходная  функция  оптимальной 
линейной  системы.  Пусть  х (()  — реализация  суммарного 
процесса  I (()  + д (I),  определенная  для  всех  действитель- 
ных значений  I.  В качестве  оценки  | (і)  примем  профильтро- 
ванное значение  реализации  (см.  § 5.2  в первой  книге) 

сю 

І (0=  § Л (л  т)х(х)дх,  (4.1) 

— оо 

где  к ( і , т)  — импульсная  переходная  функция  линейного 
фильтра  (без  ограничений,  связанных  с физической  осу- 
ществимостью). Интегралы  случайных  процессов  здесь 
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и далее  предполагаются  сходящимися  в среднеквадратиче- 
ском (см.  первую  книгу,  § 3.5). 

Заметим  прежде  всего,  что  оценка  (4.1),  вообще  говоря, 
смещенная,  так  как 

сю 

"*і{І(0}=  5 т)[М*)  + М*)І*#ве(0. 

— оо 

где  а%(і)  и ап  (()  — средние  значения  процессов  1(1)  и ц (і). 
Среднее  значение  (по  множеству  реализаций  случайного 

процесса)  квадрата  ошибки  ?(/)  — §(/)  при  использовании 
такой  оценки  равно 

е*  (0  = т4  {[Б  (0  — І (012}-  (4-2) 

Определим  импульсную  переходную  функцию  линейного 
фильтра,  для  которого  средняя  квадратическая  ошиб- 
ка е2  имеет  величину,  меньшую,  чем  для  любой  другой 
линейной  системы  *). 

Подставим  (4.1)  в (4.2)  и произведем  элементарные  пре- 
образования. Тогда 

оо 

е2  (і)  = ш±  {|2  (/)  — 2 § к(і,  т)х(т)І(()  йт  + 

— оо 


оо  сю 

+ ^ ^ к(і,  и)  к ((,  ѵ)  х (и)  х ( ѵ ) йисіѵ  | = 

— оо  — оо 


= Щ{12{1)}  — 2 § к (і,  и)  Ші  [х  (т)  1(1)}  сіх  + 

— оо 

оо  оо 

+ § ^ к(і,  и)к(і,  ѵ)  {х  (и)  х (о)}  (іи  йѵ.  (4.3) 

— оо  — оо 


*)  Подчеркнем  еще  раз,  что  оптимум  ищется  в классе  линейных 
систем.  Конечно,  в некоторых  случаях,  применяя  нелинейные  сис- 
темы, можно  иметь  меньшую  ошибку,  чем  та,  которую  дает  опти- 
мальная линейная  система.  Если  процессы  I (()  и ц (I)  являются 
нормальными  случайными  процессами,  то  абсолютный  оптимум, 
как  будет  показано  ниже,  всегда  реализуется  при  помощи  линей- 
ной системы.  Рассматриваемая  в этом  разделе  задача  линейной 
фильтрации  является  обобщением  на  случайные  процессы  линейной 
средней  квадратической  регрессии  (см.  приложение  V). 
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Пусть  известны  корреляционные  функции  Вг  (іи  /2), 
Вц  (іи  і2)  процессов  ^ (/)  и т|  (/)  и их  взаимная  корреляци- 
онная функция  ВЬ]((и  (о).  Так  как 

Ші  {.ѵ  ( и ) х (о)}  = Вх  (и,  ѵ)  = В%  (и,  ѵ)  -)-  В^  (и,  ѵ)  -}- 

+ Вцъ  (и,  ѵ)  + Вц  (и,  ѵ),  (4.4) 

ті  {х  (т)  I (/)}  = Вх1  (т,  0 = (т,  і)  + Віѵ  (т,  і),  (4.5) 

то  из  (4.3)  — (4.5)  находим 

еЦ()  = Вг((,  і)-2  ^ к (I,  х)ВХІ(х,  і)4т  + 


+ ^ ^ к(і,  и)к(і,  ѵ)Вх(и,  ѵ)кийѵ.  (4.6) 

— оо  — оо 

Из  (4.6)  следует,  что  среднеквадратическая  ошибка  линей- 
ной оценки  I (I)  зависит  только  от  корреляционной  и вза- 
имной корреляционной  функций  процессов  | (/)  и г)  (/) 
и не  зависит  от  более  тонкой  структуры  этих  процессов, 
к * Покажем,  что  при  заданных  В1г  Вц,  ВІГ]  наилучшую 
(в  смысле  принятого  критерия)  линейную  фильтрацию  про- 
цесса | (і)  из  его  аддитивной  смеси  с г)  (/)  будет  осуществлять 
линейная  система,  импульсная  переходная  функция  которой 
удовлетворяет  интегральному  уравнению  *) 

оо 

В*і  (т,  0 = § ,1*  (*.  У)  Вх  (т,  у)  сіу.  (4.7) 

— оо 

Подставим  (4.7)  в (4.6)  и покажем,  что  ошибка  е2  (I)  мини- 
мальна при  условии  к (I,  т)  = к*  ((,  т).  В самом  деле, 
в результате  указанной  подстановки  получим 

оо  оо 

еЦ()  = Вг({,  1)~  2 ? ^ к(1,  х )к*((,  у)  Вх  (т , у)сІхсІу  + 


оо  оо 

+ ^ ^ к (і,  и)  к (/,  ѵ)  Вх  (и,  ѵ ) сіи  йѵ  = 

— оо  — оо 


*)  Здесь  доказывается  только  достаточность,  доказательство 
необходимости  см.,  например,  в [4]. 
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= В,(г‘,  0—  § § Л*(/,  т)/г*(/,  у)Вх(х,  у)  сіх  сіу  -г 

— оо  — оо 
оо  оо 

+ § § в*(ы,  у)[Л(^,  и)  — к*  ((,  и)]  X 

— оо  — оо 

X [Л  (г\  и)  — к*  ((,  о)]  Ли  ки.  (4.8) 

Так  как  только  последний  член  в (4.8)  содержит  неиз- 
вестную функцию  к ((,  и)  и так  как  он  неотрицательный 
(в  силу  положительной  полуопределенности  корреляцион- 
ной функции  Вх(и,  ѵ);  см.  § 3.3.1),  то  минимальное 
значение  е2  будет  соответствовать  такой  линейной  системе, 
передаточная  функция  которой  обращает  его  в нуль.  Как 
нетрудно  видеть,  это  будет  иметь  место  при  условии 
к (і,  и)  = к*  ((,  и),  что  и требовалось  доказать.. 

Из  (4.8)  следует,  что  минимальное  значение  среднеквад- 
ратичной ошибки  при  использовании  оптимальной  линей- 
ной системы  равно 

оо  оо 

е-піп  (і)  = Вг  ((,  і)  - § § к*  (/,  и)  к*  (і,  ѵ)  Вх  (и,  ѵ)  Ли  Ли 

— оо  — оо 

(4.9) 

или  с учетом  (4.7) 

оо 

еігіп  (/)  = вг  ((,  і ) - ^ к*  {/,  и)  Вх%  (и,  і)  Ли.  (4.9') 

— оо 

Используя  (5.14)  из  первой  книги,  можно  (4.9)  перепи- 
сать следующим  образом: 

®тіп  (І)  = В|  {І,  I)  — В | ( І , (),  (4.9") 

т.  е.  минимальный  средний  квадрат  ошибки  равен  разно- 
сти средних  квадратов  значений  оцениваемого  процесса 
и оценки  *). 

Величину  минимальной  среднеквадратической  ошибки 
Етіп  (0  можно  выразить  также  через  интеграл  от  разности 
мгновенных  энергетических  спектров  процесса  I ( і ) и его 
линейной  оценки  | (/)  (см.  стр.  219—220  в первой  книге). 

*)  Из  (4.9")  следует,  что  В~  ( I , /)  < В^  (I,  I). 


282 


Из  (4.9")  следует: 

оо 

4пп(0=  25х  § 1ф&(^  “)— Ф|  (Л  И)1 

о 

гдеФ  ({,  со)  — мгновенный  энергетический  спектр,  а индекс 
при  Ф указывает,  какому  процессу  соответствует  спектр. 

Заметим,  что  для  некогерентных  *)  процессов  5 (О 
и т]  (і)  уравнения 

Вх(и,  ѵ)  = В^{и,  ѵ)  + ВГ](и,  ѵ),  (4.10) 

Вх$(и,  ѵ)  = Вг{и,  ѵ)  (4.10') 

и основное  интегральное  уравнение  (4.7)  преобразуются 
к виду 

оо 

Вг( г,  0=  § Ь*((,  у)[Вг( т,  у)  + Вг,( х,  у)]йу , (4.11) 

— оо 

а формула  (4.9)  может  быть  записана  следующим  образом: 

оо  оо 

еіііп  (0  = Вг  (Л  0 — § § Л*  (0  и)  к*  ((,  ѵ)  X 

— оо  — оо 

Х[Ві(и,  ѵ)  + Вт]  (и,  ѵ)\(1исІѵ  = Въ({,  ()  — 

оо 

— ^ к*  ((,  и)Ві(и,  0 Ли-  (4.1  Г) 

— оо 

Если  процессы  Е (0  и т]  ( і ) стационарны  и стационарно 
связаны  (по  крайней  мере,  в широком  смысле),  а фильтр 
представляет  линейную  систему  с постоянными  во  времени 
параметрами,  то  интегральное  уравнение  (4.7)  для  опреде- 
ления импульсной  переходной  характеристики  преобра- 
зуются к виду  **) 

оо 

Вхі(х)  = § к*  (г)  Вх  (т  — г)  сіг,  (4.12) 


*)  Здесь  используется  определение  некогерентности  двух  слу- 
чайных процессов,  данное  на  стр.  184  первой  книги.  Его,  конечно, 
не  следует  отождествлять  с понятиями  «когерентный  сигнал» 
и «некогерентный  сигнал»,  широко  используемыми  в импульсной 
технике  для  различения  ситуаций,  когда  фаза  высокочастотного 
заполнения  импульсов  известна  и когда  эта  фаза  случайна. 

**)  Интегральное  уравнение  (4.12)  часто  называют  уравнением 
Винера  — Хопфа. 
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а для  некогерентных  процессов  I (()  и т]  (() 

оо 

Д*(т)  = 5 Л*(2)[Вг(т-2)  + в„(т-г)]Й2.  (4.12') 

— оо 

Величина  среднего  квадрата  ошибки  не  зависит  от  момента 
времени,  для  которого  выполняется  оценка  значения  про- 
цесса \ (1),  а ее  минимальная  величина  в соответствии 
с (4.9)  равна 

оо  оо 

&тіп  = Ві( 0)  — ^ ^ к*  (и)  к*  (ѵ)  Вх  (о  — и)  йи  сіѵ  — 

— оо  — оо 

оо 

= Вг( 0)~  ^ к*(ѵ)ВХІ(ѵ)сІѵ  (4.13) 

— оо 

или 

етіп  = Вс  (0)  — В ; (0) , (4.13') 

т.  е.  минимальный  средний  квадратошибки  равен  разности 
средних  мощностей  оцениваемого  процесса  и оценки. 

Выражая  средние  мощности  через  энергетические  спект- 
ры процессов  (см.  (5.22)  в первой  книге),  запишем  величи- 
ну е2тЫ  в виде 

оо 

&тіп  — ^ (ы)  ~ Вх  (со)  | к*  (гео)  |2)  б/со,  (4.14) 

о 

Рх  И = Рг  (со)  + Рц  (со)  + (со)  + Рп1  (со),  (4.15) 

где  к*  (ісо)  — передаточная  функция  оптимальной  линей- 
ной системы;  Р%  (со),  Рп  (со),  (со),  Р^  (со)  — энергетические 

спектры  и взаимные  энергетические  спектры  процессов  \ (() 
и У]  {()■ 

Итак,  задача  отыскания  оптимальной  линейной  системы 
в рассматриваемом  случае  сводится  к решению  интеграль- 
ного уравнения  (4.12),  которое  при  игнорировании  физи- 
ческой осуществимости  находится  путем  преобразования 
Фурье  от  обеих  частей  (4.12).  Так  как  правая  часть  (4.12) 
есть  свертка  функций,  преобразования  Фурье  которых 
равны  соответственно  к*  (ісо)  и Рх  (со),  то 

РхЪ  (со)  = Рг  (со)  + РІГ]  (со)  = к*  (гео)  Рх  (со), 
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откуда  с учетом  (4.15)  находим 

х р*\  И ^И  + ^чН  м 1Пч 

к Нс  (га)  - ^(СОІ  + ^ІСОІ  + ^И  + ^И  • > 


Подставляя  (4.16)  в (4.14),  получим  величину  минимальной 
среднеквадратической  ошибки 


р2  • 
стіп  ■ 


_іл 

2я  Д 


Ръ  (со)  /Д  Н-І^б  (со)  |* 
Лс  (со) 


сйо. 


(4.16') 


Если  процессы  \ (/)  и г|  (I)  некогерентны,  то  РІГІ  (со)  = 
= РЦі  (со)  =е  0 и из  (4.16)  следует 


к*  (гео)  = 


Р%  (<о) 

Рь  (ш)  + ^ч  И 


(4.17) 


Так  как  правая  часть  (4.17)  действительна,  то  она  представ- 
ляет частотную  характеристику  оптимального  линейного 
фильтра  (фазовая  характеристика  в этом  случае  тождествен- 
но равна  нулю). 

Из  (4.16')  при  Рх1  (со)  = Ръ  (со),  Рх  (со)  =*  Рг  (со)  + 
+ Рп  (со)  получим  для  некогерентных  процессов 


оо 


о 


р%  (со)  Рт)  (со) 
р\  (<»)  + Рг)  (га) 


(4.18) 


Формула  (4.18)  показывает,  что  ошибка  в оптимальной 
линейной  системе  может  быть  сделана  равной  нулю  тогда, 
когда  энергетические  спектры  процессов  ^ (/)  и ц (()  не  пере- 
крываются, т.  е.  когда  Р$  (со)  Рп  (со)  = 0 при  всех  со. 
В противном  случае  ошибка  неизбежна.  Для  того  чтобы 
не  было  перекрытия,  необходимо,  очевидно,  чтобы  энер- 
гетические спектры  Р%  (со)  и Рп  (со)  на  некоторых  интерва- 
лах оси  частот  тождественно  обращались  в нуль  *). 

Таким  образом,  фильтрация  стационарного  случайного 
процесса  из  аддитивной  смеси  с другим  стационарным  слу- 
чайным процессом  с нулевой  среднеквадратической  ошибкой 
(сингулярность)  соответствует  тому  случаю,  когда  энерге- 
тические спектры  этих  процессов  имеют  диапазоны  частот, 
где  они  тождественно  равны  нулю. 


*)  Заметим,  что  один  из  спектров  должен  быть  при  этом  финит- 
ным. Тогда  их  отношение  равно  нулю  или  бесконечности  [см.  (3.147)]. 
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При  фильтрации  процесса  \ ( і ) на  фоне  белого  шума 
для  которого  Ру\  (ш)  = N о,  из  (4.18)  следует 


УѴ0  р (®) 

Етіп~  2л  Д Р^Н  + N0  ’ 
о 


(4.19) 


т.  е.  наличие  аддитивного  белого  шума  в данном  случае 
исключает  сингулярность  (см.  § 3.4.6). 

4.2.2.  Физически  реализуемая  оптимальная  линейная 
система;  конечное  время  наблюдения.  Линейная  система, 
импульсная  переходная  функция  которой  к*  ( і , у)  находит- 
ся из  уравнения  (4.7),  не  реализуема  физически,  так  как 
к*  (і,  у)  не  равна  нулю  при  і < у.  Полученные  в предыду- 
щем разделе  соотношения  можно  трактовать  следующим 
образом:  операция  фильтрации  осуществляется  после  на- 
блюдения реализации  х (/)  суммарного  процесса  ^ (і)  ■+ 
+ т]  ( і ) на  всем  интервале  времени  от  — оо  до  оо . Следова- 
тельно, подобная  оптимальная  линейная  система  совершает 
оценку  значения  процесса  в заданный  момент  времени  с бес- 
конечным запаздыванием.  Условие  физической  осуществи- 
мости означает,  что  для  фильтрации  используется  только 
предыстория  реализации  х (і)  до  момента  времени,  когда 
производится  оценка,  иначе  говоря: 

к ((,  т)  = 0,  (4.20) 

Подставляя  (4.20)  в (4.1),  получим  оценку  | ( і ) при  помощи 
физически  реализуемого  линейного  фильтра 

і 

І(()  = ^ к ((,  т)  х (т)  (іт.  (4-21) 


В оценке  (4.21)  используются  все  значения  реализации, 
предшествующие  моменту  оценки  і.  Если  имеется  реализа- 
ция х (т)  конечной  длительности  Т,  т.  е.  если  оценка  в мо- 
мент і производится  по  результатам  наблюдения  на  замк- 
нутом интервале  ( і — Т,  і),  то  вместо  (4.21)  будем  иметь 
і т 

!(/)=  ^ к ((,  т)  х (т)  йх=  ^ к (і,  I — и)  х (( — и)  йи.  (4.22) 

І-Т  о 

Подставляя  (4.22)  в (4.2)  и выполняя  те  же  преобразования, 
что  и в (4.3),  придем  к следующему  выражению  среднего 
квадрата  ошибки,  учитывающего  физическую  реализуе- 
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мостъ  фильтра  и конечную  длительность  реализации  про- 
цесса: 

т 

е2  (()  = Ві  ((,  і)  — 2 ^ Н (і,  і — т)  Вхъ  ((  — т,  I)  сіх  + 
о 

т т 

-{-  ^ ^ к ({,  і — и)  к(і,  і — ѵ)  Вх((  — и,  I — ѵ)  йи  йѵ.  (4.23) 
и о 

Используя  (4.23),  нетрудно  (как  и в § 4.2.1)  показать,  что 
наилучшую  по  критерию  минимума  среднего  квадрата 
ошибки  линейную  фильтрацию  \ (()  из  его  аддитивной  смеси 
с г|  (()  осуществляет  такая  линейная  система,  импульсная 
переходная  функция  которой  удовлетворяет  интегральному 
уравнению 

т 

Вхі  {і  — т,  і)  — ^ Л*  (/,  і — у)  Вх(і  — т,  і — у)  йу,  0 < т < Т. 
о 

(4.24) 

Минимальное  значение  среднего  квадрата  ошибки,  соот- 
ветствующее фильтрации  при  помощи  оптимальной  линей- 
ной системы  [см.  (4.9')],  равно 
т 

етіп  (()  = Ві  ( і , і)  — ^ Н*  ((,  I — и)  Вхь  ( і — и , I ) (іи.  (4.25) 
о 

Для  стационарных  и стационарно  связанных  процессов 
5 (і)  и т]  (і)  и для  фильтра  с постоянными  параметрами 
из  (4.24)  и (4.25)  следует: 
т 

Вхі(ѵ)=^Ь*{у)Вх{т  — у)сіу,  0<т  <7,  (4.26) 

О 

т 

Етіп  = В^  (0)  — к*  (и)  Вхъ  (и)  сіи.  (4-27) 

о 

Если  в приведенных  формулах  устремить  Т к бесконеч- 
ности, то  приходим  к случаю  бесконечного  времени  наблю- 
дения, предшествующего  моменту  оценки. 

4.2.3.  Оценка  линейно-преобразованного  случайного  про- 
цесса. Теперь  распространим  изложенную  выше  методику 
на  оценку  значения  не  процесса  \ (і),  а его  линейного  пре- 
образования 2;  (і).  Как  и раньше,  оценка  ^ (і)  производится 
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линейной  фильтрацией  реализации  л:  (і)  аддитивной  сме- 
си | ( і ) и г|  (/),  наблюдаемой  на  конечном  интервале  време- 
ни (і  — Т,  I),  т.  е. 

т 

С (0  = § кі  ((,  і — и)х(1  — и)  сіи.  (4.28) 

о 

Средний  квадрат  ошибки  при  использовании  такой  оценки 
равен 

т 

^(0  = «1  {[с(0—  5 (О  (~-и)х((~и)сІиТ\  = 
о ' 

т 

= ВІ((,  0—2  ^ к{  (0  і — х)Вхі({  — х,  1)сІт  + 
о 

т т 

+ ^ ^ кі  (1,1  — и)Ні(1,  і — ѵ)  Вх(і  — и,  1 — ѵ)<іиЛѵ,  (4.29) 
о о 
где 

Вхііісі  1%)  = ш-і  {х  (0)  ь {І2.)}  = Вц  (0,  0)4"^гіг(0і  0)-  (4.29') 

Наилучшая  по  критерию  минимума  оценка  ^ (0  осу- 
ществляется линейным  фильтром,  импульсная  переходная 
функция  к*  (0  т)  которого  удовлетворяет  интегральному 
уравнению  [см.  (4.24)] 
г 

ВхіѴ  — Т,  0=  5 Лі(0  і-у)Вх{і- т,  і — у)йу,  0 < т < 7. 

О 

(4.30) 

При  этом  минимум  среднего  квадрата  ошибки  равен 
т 

^\тіп  = В^{1,  0 — ^ Л*  (О  I — и)  Вх^(і  — п,  і)ди.  (4.30') 
о 

Для  стационарных  процессов  формулы  (4.30)  и (4.30') 
преобразуются  к виду 
т 

Вхі  (т)  = к*  (у)  Вх  (т  — у)  сіу,  0 < т < Т,  (4.31) 
о 

т 

е^тгп  = В ^ (0)  ^ к*  (и)  Вх ^ ( и ) Уи.  (4.3 Г) 

и 
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Различные  виды  линейного  преобразования  | (і)  отра- 
жаются лишь  на  выражениях  корреляционной  функции 
В^  (ч,  !■>)  и взаимной  корреляционной  функции  Вхі  ({и  і2). 
Приведем  эти  выражения  для  трех  наиболее  важных  видов 
линейных  преобразований. 


Пусть 


(4.32) 


1(1)  ^ (*  + *<>)• 


Тогда 


Случай  (» > 0 или  і0  < — Т соответствует  экстраполяции 
случайного  процесса*),  а — Т < (0  < 0 соответствует 
интерполяции. 

Если  І (і)  дифференцируем  в среднеквадратическом  и 


(4.34) 


т=ъ'  (о. 

то  (см.  § 4.3.3  в первой  книге) 


Для  процесса 


(4.36) 


где  §((,  т)  — заданная  функция,  получим  (см.  § 5.2.1  впер- 
вой книге) 


(4.37) 


ВХІ(Іи  к)  - ^ ^2'  ѵ)Лѵ 


— оо 


(4.37') 


— оо 


* 


) Случай  /0  > 0 иногда  называют  предсказанием. 


19-197 
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В этом  случае  оценку  1,(1)  [см.  (4.28)]  по  реализации 
суммы  I (0  + г|  (/),  наблюдаемой  на  конечном  интервале 
времени,  можно  трактовать  как  оценку,  оптимальную  по 
критерию  минимума  среднего  квадрата  ошибки,  процесса 
на  выходе  линейной  системы  с заданной  импульсной  пере- 
ходной функцией  § (I,  т),  когда  на  ее  вход  действует  про- 
цесс \(1). 

Заметим,  что  из  (4.36)  — (4.37')  при  § ((,  т)  = 
= б (т  — 1 — /0)  получаются  формулы  (4.32)  — (4.33'),  а при 
8 (і,  т)  = Ь’  ((  — т)  — формулы  (4.34)— (4.35'). 

Формулами  (4.30)  и (4.31)  можно  воспользоваться  для 
оптимальной  линейной  оценки  процесса  Х>  (і),  представля- 
ющего результат  преобразования  ^ (I)  в линейной  системе 
со  случайными  параметрами.  Используя  (5.112)  из  первой 
книги,  можно  функцию  В*  ( і , і)  записать  в виде 

оо  оо  оо  оо 

йс(/-  0 = 7^2“  § § § ^ Вс  ((,  і,  0)„  С02)  X 

— ОО  — ОО  — оо  — сю 

хВь(і  — и,  і — ѵ)  е*<“1“  в»*»)  (к о,  Ло2  сіи  сіѵ,  (4.38) 

где 

Вс(і і,  /2,  ®і,  “г)  = Щ {к  (іщ,  іі)к(і со2,  і2 )}  (4.38') 

— корреляционная  функция  линейной  системы.  Предпола- 
гается, что  передаточная  функция  линейной  системы 
к (і со,  I)  (представляющая  случайный  процесс)  независи- 
ма от  | (/). 

Взаимная  корреляционная  функция  Вхі  (/,,  /2)  в этом 
случае  записывается  следующим  образом: 

оо  оо 

ВхіѴі,  = § § ко  (іа,  /2)  > 

— оо  — оо 

Х(Ві(іи  і2~ѵ)  + ВІѴ((и  і2  — ѵ)]  еіыѵ  сіысіѵ,  (4.39) 
где 

кс(іы,  і)  = ті  {к  (гео,  1)}  (4.39') 

— среднее  значение  передаточной  функции  линейной  си- 
стемы. 

4.2.4.  Фильтрация  как  задача  регрессии.  Рассмотренной 
выше  задаче  линейной  фильтрации  может  быть  дана  не- 
290 


сколько  иная  трактовка.  Пусть  ?•  (()  и ? (О  — два  зависимых 
случайных  процесса,  и необходимо  оценить  значение  про- 
цесса Ѣ(і)  путем  линейной  фильтрации  реализации  л:  (/)  про- 
цесса I ({),  выбирая  характеристику  фильтра  по  критерию 
минимума  среднего  квадрата  ошибки.  Импульсная  пере- 
ходная функция  такого  фильтра  находится  из  интеграль- 
ного уравнения  (4.30)  (или  (4.31)  для  стационарных  про- 
цессов). 

Таким  образом  сформулированная  задача  фильтрации 
представляет  обобщение  на  случайные  процессы  задачи 
линейной  среднеквадратической  регрессии  для  случайных 
величин  (см.  приложение  V).  Интегральное  уравнение 
Винера  — Хопфа  (4.31)  аналогично  системе  линейных 
алгебраических  уравнений,  определяющих  гиперплоскость 
среднеквадратической  регрессии  в конечномерном  про- 
странстве выборок  [см.  (7)  в приложении  V]. 

В общем  виде  функционал  регрессии  задает  оценку 
процесса  I,  (!)  по  наблюдаемой  реализации  х (/)  процесса 
\ (!)  как  условное  среднее 

2(0  = т1{С(0  \х(()}. 

Эта  оценка  минимизирует  средний  квадрат  ошибки  {(^  — 
— У2}.  Условное  среднее  не  всегда  является  линейным  функ- 
ционалом реализации  х (().  Только  в том  случае,  когда 
процессы  | (/)  и I,  (і)  нормальные  (совместно),  функционал 
регрессии  всегда  линейный  (см.  приложение  V,  а также 
§ 4.4.4). 

4.2.5.  Фильтрация  квазидетерминированного  сигнала. 

В качестве  первого  примера,  иллюстрирующего  теорию  опти- 
мальной фильтрации,  рассмотрим  задачу  о фильтрации 
квазидетерминированного  сигнала  \ (()  = аз  (1),  вид  кото- 
рого определяется  известной  функцией  5 ( і ),  а амплиту- 
да а случайна.  Сигнал  наблюдается  в аддитивной  смеси 
с независящим  от  а случайным  процессом  г|  (/),  среднее 
значение  которого  равно  нулю,  а корреляционная  функция 
равна  В (( і , і2).  Необходимо  найти  характеристику  линей- 
ного фильтра,  который  формирует  наилучшим  образом 
(по  критерию  минимума  среднего  квадрата  ошибки  оценку 
І (/)  = а з (/),  по  реализации  аддитивной  смеси  5 (0  + 
+ т)  (1),  наблюдаемой  на  интервале  ( і — Т,  I).  Для  этого 
необходимо  решить  интегральное  уравнение  (4.24),  под- 
ставив в него  вместо  Вх 5 и Вх  следующие  выражения 
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Ісм.  (4.4)  и (4.5)]: 

Вхі((  — т,  і)  = т1{аі}8((-~х)8(1),  (4.40) 

Вх((  — т,  I — у)  = ті{а2}  &(і  — х)5(і  — у)  + В((  — т,  і — у). 

(4.40') 

Вводя  обозначение  для  второго  момента  амплитуды 

т2  = т1  {а2}, 

получим  после  указанной  подстановки 
т 

ГП2 5 (/  — т)  5 (()  = ^к*((,  ( — у)  [т28  (і  — т)  5 ( { — у)  + 
о 

+ В(^  — т,  ^ — у)]с!у,  0 < т < Г.  (4.41) 

Решение  интегрального  уравнения  (4.41)  ищем  в виде 
к*(і,  т)  = Хх(/)у(т),  (4.42) 

где  у (т)  - решение  другого  интегрального  уравнения  *) 

I 

^ ѵ (и)  В (у,  и)  сіи  5 (у),  / — (4.43) 

1-Г 

Подставляя  (4.42)  в (4.41),  с учетом  (4.43)  получаем 
т 

ш2  = [т2  ^ (/  — //)  5 (/  - //)  сіу  + 1 ] , 

о 

откуда  находим  величину  Я: 

і 

к-  гп2  ^ 1 -|-  т2  ^ у (г)  5 (г)  о?г)  1 . (4.44) 

І — Т 

Итак,  оптимальная  фильтрация  квазидетерминирован- 
ного  сигнала  ах  (^)  на  фоне  случайного  процесса  т|  (/) 
осуществляется  линейной  системой  с импульсной  переход- 
ной функцией 

, * \ 'П2$  II)  V (т)  ,г, 

/г*  (/,  т)-= ^ , (4.45) 

1 4 т2  | ѵ (г)  5 (г) 

1-Т 

где  у (т) — решение  интегрального  уравнения  (4.43).  Оценка 
сигнала  в момент  ^ по  реализации  х(т)  его  аддитивной 

*)  Уравнение  типа  (4.43)  уже  неоднократно  появлялось  в пре- 
дыдущей главе. 
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смеси  с г |(/),  наблюдаемой  на  интервале  (I  — Т,  /),  имеет  вид 


аз  (()  = ^ к*  ((,  і — и)х(і  — и)  сіи 


іп2з  (I)  ѵ (г)  х (г)  сіг 
І-Т 

~ і > 

1 + іп2  )"  ѵ (г)  5 (г)  сіг 
і-т 

а оценка  случайной  амплитуды  сигнала  *) 

і 

гп 2 | ѵ (г)  х (г)  сіг 
* *-г 


(4.46) 


1 + /п2  ^ ѵ (г)  5 (г)  сіг 
і-Т 

Оценка  а смещенная,  так  как  из  (4.46')  следует: 

і 

іп2  К ѵ (г)  5 (г)  сіг 


(4.46') 


пц  {а}  = т,  {а} 


і 


(4.47) 


1 ш2  ) ѵ (г)  5 (г)  сіг 
і-т 


но,  как  видно  из  (4.47),  эта  оценка  асимптотически  при 
т2  — » оо  несмещенная. 

Найдем  средний  квадрат  ошибки  при  использовании 
оценки  (4.46).  Согласно  (4.30')  и (4.40')  имеем 

т 

Етіп  (I)  = тѴ  (/)  — 'кт2  ^ 52  (/)  5 (/  — т)  у (/  — т)  сіт  = 

о 

і 

= т252  (о[і—  Я,  ^ (г)  5 (г)  ск ^ 

і-т 


*)  Подчеркнем,  что  оценка  (4.46')  представляет  оптимальную 
по  критерию  среднего  квадрата  ошибки  оценку  в классе  линейных 
функционалов  от  наблюдаемой  реализации  х ( I ).  При  этом  не  де- 
лается никаких  предположений  о функции  распределения  аддитив- 
ного шума.  При  т -*■  оо  эта  оценка  совпадает  с оценкой  макси- 
мального правдоподобия  амплитуды  детерминированного  сигнала 
на  фоне  аддитивного  нормального  шума  [см.  (3.166)].  Заметим, 
однако,  что  (4.46')  совпадает  с байесовской  оценкой  (3.190)  при 
квадратичной  функции  потерь  и нормальном  распределении  шума, 
если  в (3.190)  положить  = т2  и а0  = 0. 
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или  с учетом  (4.44) 

бгліп  (()  = т,  {(а  — а)2  з2  (/)}  — 
_ т2з2  (і) 


1 + т2  ^ ѵ (г)  5 (г)  ёг 
І-Т 


(4.48) 


Из  (4.48)  следует  также,  что 

ш({(а  — а)2)  = , (4.49) 

1 + гп2  | ѵ (г)  5 (г)  ёг 
і-Т 

причем  при  гп2— > оо  средний  квадрат  отклонения  оценки  а 
от  оцениваемой  амплитуды  а сигнала  стремится  к своему 


минимальному  значению,  равному  ^ ѵ (г)  з (г)  сіг 

І-Т 

Отношение 


Щ {(а  — а)2} 

Ші  {(а-а)2}т2=00 


іп2  ѵ (г)  з (г)  ёг 
і-Т 

і ’ 

1 4-  т2  ѵ (г)  5 (г)  ёг 
і-Т 


(4.50) 


которое  не  превосходит  единицы,  указывает,  насколько 
средний  квадрат  ошибки  при  конечном  втором  моменте 
амплитуды  меньше  этой  величины  при  бесконечном  втором 
моменте.  Сравнивая  (4.50)  с (4.47),  замечаем,  что 

/Пі  {а}  = е Ші  {а} . (4.50') 

В частном  случае,  когда  фильтрация  квазидетермини- 
рованного  сигнала  происходит  на  фоне  белого  шума 
со  спектральной  интенсивностью  7Ѵ0, 


В (С  и)  = 7Ѵ0б  (/  — и),  ѵ(т)  = -^-з(т), 

/V  о 

и из  (4.45),  (4.48)  получаем 

т2 

1ѵ7*(0*(ч) 


Н*  (1,  т) 


Е'ГПІП  (0 


* 5 

і-т 

т2з2  ( I ) 


ёг 


|+!г  5 


сіг 


(4.51) 


(4.52) 


І-Т 
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Приведенные  выше  соотношения  остаются,  конечно, 
справедливыми  и для  случая  фильтрации  детерминирован- 
ного сигнала,  если  под  величиной  т понимать  амплитуду 
детерминированного  сигнала.  Все  результаты,  относящиеся 
к оценке  неизвестной  (не  случайной)  амплитуды  детерми- 
нированного сигнала,  указанные  в § 3.6.1,  получают  из 
соответствующих  формул  этого  раздела  при  т2  — - оо  (см. 
подстрочное  примечание  на  стр.  293). 

Заметим,  что  в соответствии  с (4.46)  дисперсия  оценки 
квазидетерминированного  сигнала  по  реализации  аддитив- 
ной смеси  сигнала  и шума  равна  дисперсии  шумового  сла- 
гаемого на  выходе  фильтра,  т.  е. 

г т 

М2  {аз(()}  ^ ^ ^ к*  (/,  { - и)  к*  (/,  і — ѵ)  X 
о о 

< 

хВ(і-и,  ( — ѵ)  (іи  йѵ  - Х2з2  (()  ^ ѵ (г)  з (г)  сіг  = 

1-Т 

( 

іи2  )'  ѵ (г)  8 (г)  сіг 

= /гаѴ  (/) . (4.53) 

(і  4-т2  ^ ѵ (г)  з (г)  сіг)2 

1-Т 

Сравнивая  (4.53)  с (4.48),  находим 

( 

т2  ѵ (г)  х (г)  сіг 

<1,  (4.54) 

1 4-  т2  ( ѵ (г)  х (г)  сіг 
1-Т 

причем  это  отношение  стремится  к единице,  когда  гп2  — >оо. 

4.2.6.  Чистая  экстраполяция.  В качестве  второго  иллю- 
стративного примера  рассмотрим  задачу  об  экстраполяции 
значений  случайного  процесса  Ь,  (()  по  наблюдаемой  на 
конечном  отрезке  времени  реализации  этого  же  процесса. 
Решение  этой  частной  задачи  получается  из  общего  реше- 
ния, приведенного  в § 4.2.3,  если  положить  ^ (і)  = | (/  + 
+ Іо)  и г]  (/)  = 0.  Экстраполированное  значение  % ((  + (0) 
получается  линейной  фильтрацией  наблюдаемой  реализа- 
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М2  Щх(1)} 

Р?пі  п (1) 


(4.55) 


Ции  х ( і ) процесса  | (() 

т 

і (I  + іо)  = ^ Л (/,  і-  — и)х{1  — и)  (Іи, 
о 

а импульсная  переходная  характеристика  наилучшего 
фильтра  по  критерию  минимума  среднего  квадрата  ошибки 
находится  из  интегрального  уравнения  (см.  (4.30)] 

т 

В\(і  т>  і ~Ь  ^о)  = ^ Л*  ({,  I — у)  х 
о 

ХВь((  — т,і  — у)йу,  0<т<7\  (4.56) 

Соответствующее  (минимальное)  значение  среднего  квадрата 
ошибки  экстраполяции  равно  [см.  (4.30')] 

(С  /о)  = В*  (і  (д,  I -)-  /0)  — 
т 

1 — и)Въ{1  — и,  і + і0)сіи.  (4.57) 

о 

Импульсная  переходная  характеристика  к * (т)  опти- 
мальной линейной  системы  с постоянными  параметрами 
для  получения  экстраполированного  значения  стационар- 
ного (в  широком  смысле)  процесса 

т 

1{1  + *о)=  ^к*(и)х(і  — и)  сіи  (4.58) 

о 

является  решением  интегрального  уравнения 
т 

Ві(х  + і0)  = ^ А*  (У)В1(х~у)(іу,  0 < т < Г,  (4.59) 
о 

которое  является  частным  видом  уравнения  (4.56).  Сред- 
ний квадрат  ошибки  при  этом  равен 

т 

Чтіп  (/о)  = в%  (0)  — ^ к*  (и)  Вг  (и  + (0)  сіи.  (4.60)*) 
о 

*)  Заметим,  что  для  чистой  экстраполяции,  без  учета  физи- 
ческом реализуемости  фильтра,  интегрирование  в (4.58)  — (4.60) 
производится  по  всем  действительным  значениям  переменной. 
Интегральное  уравнение  при  этом  имеет  тривиальное  решение 
1 (У)  — 0 (У  + (о)',  оценка  совпадает  со  значением  реализации 
? (^  + (о)  = х (I  (0 ),  а средний  квадрат  ошибки  равен  нулю. 
296 


4.3.  СОГЛАСОВАННЫЕ  ФИЛЬТРЫ 


4.3.1.  Линейная  фильтрация  по  критерию  максимума 
отношения  сигнал/шум.  В предыдущем  разделе  качество 
линейной  фильтрации  определялось  величиной  среднего 
квадрата  отклонения  оценки  от  значения  оцениваемого 
случайного  процесса.  Такой  подход  оправдан  в ситуациях, 
когда  при  выделении  сигнала  имеет  значение  вид  его  функ- 
циональной зависимости  от  времени.  В других  радиотех- 
нических задачах,  например  в радиолокации,  важно  уста- 
новить наличие  или  отсутствие  сигнала,  скрытого  в шумах, 
т.  е.  важно  при  фильтрации  обеспечить  максимальное 
отношение  сигнал /шум  даже  ценой  существенного  иска- 
жения формы  сигнала. 

Пусть  х (і)  — реализация  аддитивной  смеси  детермини- 
рованного сигнала  5 (/)  и стационарного  (в  широком  смысле) 
случайного  шума  ц (і)  с нулевым  средним  и известной 
корреляционной  функцией  Вц  (т).  Реализация  наблюдается 
в течение  конечного  интервала  времени  Т.  Оценку  сигнала 
дает  профильтрованное  значение  реализации 

г 

5 (?)  ^ к (т)  х (/  — т)  дх,  (4-61) 

о 

где  к (т)  — подлежащая  определению  импульсная  пере- 
ходная функция  линейной  системы  (с  постоянными  во  вре- 
мени параметрами).  Критерием  качества  оценки  принима- 
ем максимум  отношения  сигнал/шум  на  выходе  фильтра, 
которое  нетрудно  определить  в силу  линейности  фильтра 
(см.  § 6.3.1  в первой  книге).  Действительно,  (4.61)  можно 
переписать  в виде 

5 (/)  = 5,(/)  + ѵ(/),  (4.62) 


5і  (/)  \ к (т)  5 (/  — т)  Дг, 

о 
т 

ѵ (/)  = ^ к (т)  т]  (/  — т)  (1т 
о 

Отношение  сигнал/шум  определяется  как  отношение  квад- 
рата сигнала  на  выходе  (/0)  в некоторый  момент  време- 
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(4.62') 

(4.62") 


ни  /„  к дисперсии  шума  на  выходе  фильтра  о(,  М2{\  (/)}, 


С 

Ж 


(4.63) 


Оптимальный  по  критерию  максимума  отношения  сиг- 
нал/шум линейный  фильтр  называют  согласованным. 

4.3.2.  Импульсная  переходная  и передаточная  функции 
согласованного  фильтра.  Определим  импульсную  переход- 
ную функцию  линейной  системы,  для  которой  отношение-'— 

имеет  максимальную  величину.  Обозначим  эту  величину 
через  \ьтах.  Тогда  для  любой  линейной  системы  с импульс- 
ной переходной  функцией  к (т)  имеет  место  неравенство 
[см.  (4.62),  (4.63)] 

Т т 

І^пшх^ѵ  — 5*  (1 0)  = [Іпшх  ^ ^ к (и)  к (ѵ)  йт)  (ѵ  — и)  сіи  СІѴ 
о о 
т 

(§  А(т)5(/о-т)й(т)“>0,  (4.64) 

о 


причем  знак  равенства  соответствует  согласованному  филь- 
тру. Нетрудно  проверить,  что  левая  часть  (4.64)  обращается 
в нуль  для  функции  к (т)  = к*  (т;  і0),  удовлетворяющей 
интегральному  уравнению 
т 

^к*(т;  <о)Вц((~т)с1т  = к(<0)з(10-1),  0<*«7\  (4.65) 

о 


где  константа  к (/„)  равна 


к(д 


(т;  (0)  « (/„  — т)  сіх 


М-тах 


Д*(<о) 

[1тах 


*2 

аѵ 

ТЖГ 


(4.66) 


(звездочка  указывает,  что  значения  сигнала  5,  и дисперсии 
шума  относятся  к процессу  на  выходе  согласованного 
фильтра). 

Заметим,  что  если  к*  (т;  (0)  представляет  решение 
уравнения  (4.65),  то  этому  уравнению  удовлетворяет  так- 
же функция  ск*  (т;  /0),  где  с — произвольная  константа, 
а величина  ртях  остается  неизменной.  Таким  образом! 
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импульсную  переходную  функцию  согласованного  фильтра 
достаточно  определить  с точностью  до  постоянного  (мас- 
штабного) множителя. 

При  фильтрации  детерминированного  сигнала  из  адди- 
тивной смеси  с белым  шумом  импульсная  переходная 
функция  согласованного  фильтра  может  быть  выражена 


Рис.  22.  Сигнал  и импульсная  переходная  функция 
согласованного  фильтра. 


в явном  виде,  если  в (4.65)  подставить  В л (і  — т)  = 
іѴ06  (/  — т).  Используя  фильтрующее  свойство  дельта- 
функции, получаем 

/И(/;/о)  -^5(/о-0.  О < ^ < Т.  (4.67) 

Следовательно,  в рассматриваемом  случае  импульсная 
переходная  функция  согласованного  фильтра  пропорцио- 
нальна зеркальному  отображению  относительно  вертикаль- 
ной оси,  проходящей  через  точку  і = і0,  отрезка  сигна- 
ла 5 (0  на  интервале  (/0  — Т,  /0)  с последующим  перено- 
сом начала  координат  в точку  і = 10  (рис.  22).  В том 
случае,  когда  і0  = Т,  импульсная  переходная  функция 
получается  одним  зеркальным  отображением  сигнала  отно- 
сительно вертикали,  делящей  пополам  интервал  (О,  Т). 

Максимальное  значение  отношения  сигнал/шум  рав- 
но [см.  (4.64)] 

т 

^ 52(/0-т)с(т,  (4.68) 


т.  е.  отношению  энергии  сигнала  на  интервале  (І0  — Т,(0) 
к спектральной  плотности  /Ѵ0  шума. 
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т 

[$  52  (/„-  т)  оГт]  2 
6 

М'лгал1  у 

уѴ0  $ $2  (10-т)  сіт 
о 


Передаточная  функция  к * (гео;  /0)  согласованного  фильтра 
с импульсной  переходной  функцией  (4.67)  равна 


к*  (гео;  /0)  = ^ к*  (/;  10)  е~™1  сП  = 


к Оо) 

Л' о 


т 

^ 5(6,—  сП  -= 

о 


к Оо) 

М, 


/о 

е-гсо/о  ^ 8(()ешСІІ 
Іо-Т 


или 

6*  (гео;  /„)  = Л,  (ео;  бъ  7)  е“імЧ  (4.69) 

где  (ео;  і0,  Т)  — спектр  отрезка  сигнала  5 (/)  на  интер- 
вале (і0  — Т,  (0)  и черта  сверху  указывает  на  комплексно- 
сопряженную величину. 

Итак,  при  выделении  сигнала  из  аддитивной  смеси 
с белым  шумом  передаточная  функция  согласованного 
фильтра  пропорциональна  комплексно-сопряженному  спек- 
тру усеченного  сигнала. 

Можно  получить  общее  выражение  передаточной  функ- 
ции согласованного  фильтра  при  произвольном  энергети- 
ческом спектре  /ц,  (со)  шума,  если,  отказавшись  от  условия 
физической  осуществимости,  предположить,  что  имеется 
реализация  х (()  для  всех  действительных  і,  и представить 
оценку  сигнала  в виде  [ср.  с (4.61)] 

оо 

«(0  = § й*(т;  іо)  х {( — т)  йх. 


В этом  случае  уравнение  (4.65)  преобразуется  к виду 
(для  всех  действительных  значений  I) 

оо 

§ Л*(т;  І0)ВЦ(І  — т)  г/т  = к (/0)  5 (/0  — 0-  (4-70) 

— оо 

Совершая  преобразование  Фурье  над  обеими  частями  (4.70), 
приходим  к выражению 
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к*  (гео;  (0)  7Т,  (со)  = к (/„)  А8  (со)  е-іи'° 


(здесь  Л5  (со)  — спектр  неусеченного  сигнала),  из  которого 
находим  передаточную  функцию  согласованного  фильтра: 


к*  (ко;/о)  = к(/о)-^у-е--'о.  (4.71) 

Максимальное  отношение  сигнал/шум  в соответствии 
с (4.64)  равно  (см.  также  § 5.2.1  в первой  книге) 


I $ к*  (Т,  10)  8{10  — х)  сіх]2 

— ОО 

^ 1ПС1Х  оо  оо 

^ / 1 * (и\  іо)  к*  (о;  /0)  (ѵ  — и)<1и  сіѵ 


- оо  — оо 


[4г  ^ к*  ;о)  Л8(м)еш'  Ло] 


1 

2 л 


§ Р,,  (со)  1 к*  (/со;  /0)  I2  4 с 


и,  подставляя  вместо  к*  (ко;  /п)  его  выражение  из  (4.71), 
получаем  окончательно 


Рошх 


_і_  е [ А6  (со)  в 
2я  0 Р-ц  (со) 


(4.72) 


В случае  белого  шума  /д,  (со)  /Ѵ0  и из  (4.72)  следует 
[ср.  с (4.68)]: 

М-таіс  2^  § ! А3  (со)  I2  сіы.  (4.72') 


Отметим,  что  оценка  сигнала  на  выходе  согласованного 
фильтра,  вообще  говоря,  смещенная , так  как 

т 

т{  {5  (/)}  = - пц  | ^ к*  (т;  (0)  х (і  — т)  сіт|  = 
о 

Т 

= к*  (т;  /0)  5 (і  — т)  г/т  з*(і)Фз(().  (4.73) 

О 
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Дисперсия  этой  оценки  равна  дисперии  шумового  сла- 
гаемого ѵ(/)  на  выходе  согласованного  фильтра  [см.  (4.53)] 
т т 

{5  (/)}  = а*2  § § Н*  (і и ; /0)  /г*  (ѵ,  (0)  Яч  (ѵ-и)  сіи  йѵ  = 

О о 

т 

= к ((о)  I Л*  (и;  /о)  5 (10  — и)  (Іи  = 

О 

--  к (/„)  5*  (/0)  --  ^(/°))г  . (4.73') 

гтах 

В случае  белого  шума  из  (4.73),  (4.73')  и (4.67)  следует: 

т 

т'  5 5(^о-т)  5(/-т)  г/т, 

о 

^2  {5(0}  = ^ 5 52  (/«-Г)  СІТ. 

о 

4.3.3.  Оптимальная  фильтрация  периодической  последо- 
вательности импульсов  из  аддитивной  смеси  с белым  шумом. 

В качестве  простейшего  примера,  иллюстрирующего  резуль- 
таты предыдущего  раздела,  найдем  частотную  характери- 
стику согласованного  фильтра,  предназначенного  для  выде- 
ления периодической  последовательности  импульсов  из 
аддитивного  белого  шума.  Пусть  т0  — длительность  оди- 
ночного импул.ьса  и пусть  и (()  — функция,  отличная  от 
нуля  на  интервале  0</<т0,  описывает  форму  этого 
импульса.  Спектр  импульса  имеет  вид 

то 

Аи  (со)  = ^ и (1)е~ію<  йі. 
о 

Для  периодической  последовательности  импульсов  с пери- 
одом Т 

5(0=  2 и (і  — пТ) 

71—  — ОО 

спектр  равен 

оо 

А3  (со)  = 2 Аи  (со)  е~іпыТ  = —Аа  ^ . 

1 — е Ш1 

71= — оо 

Нормированная  частотная  характеристика  согласован- 
ного фильтра  (т.  е.  отношение  модуля  коэффициента  пере- 
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дачи  к 
вид: 


к ('о)  \ 

'V  о ) 


будет  согласно  (4.71) 


иметь 


С (со) 


Л И | 


I Ад  (со)  1 


2 


следующим 


(4.74) 


Если  длительность  одиночного  импульса  стремится  к нулю, 
то  [ А и (со)  | остается  постоянным  в увеличивающемся  диа- 


Рис.  23.  Частотная  характеристика 
гребенчатого  фильтра. 


пазоне  частот  и частотная  характеристика  согласованного 
фильтра  приближается  к частотной  характеристике  идеаль- 
ного гребенчатого  фильтра  (рис.  23): 


С (со) 


со  Г 


(4.74') 


Если  сигнал  представляет  пачку  импульсов  конечной 
длительности  (с  числом  импульсов  Л/),  то 


А3  (со;  /V) 


К 1 1 — ііѴш7 

= 2 (со)  е~іжоГ  = Аи  (со)  -1_ее_-<^ 

п=  О 


и в соответствии  с (4.69)  нормированная  частотная  харак- 
теристика согласованного  фильтра  определяется  по  формуле 


С (со)  = | А и (со)  | 


УѴсоГ 


51 П — 

2 

5ІП 

со  Т 

(4.75) 


Заметим,  что  в отличие  от  частотной  характеристики 

2 лк  . 

(4.74),  которая  не  ограничена  на  частотах  — , где  к — 


любое  целое  и Аи  ~ | | > 0,  частотная  характеристика 

согласованного  фильтра  для  импульсной  последовательности 
конечной  длительности  ограничена  и на  частотах,  кратных 
тактовой  частоте,  так  как  из  (4.75)  следует,  что 


С 


--=N 


4.3.4.  Активный  и пассивный  фильтры.  Устройство, 
вырабатывающее  оптимальную  по  критерию  максимума 
отношения  сигнал/шум  оценку  сигнала 

т 

8(0=  ІЬ*(т)х((  — т)йт  (4.76) 

II 


(где  к*  (т)  — решение  неоднородного  интегрального  урав- 
нения (4.76)  и х (0  — наблюдаемая  на  интервале  (I  — ’Т,  () 
аддитивная  смесь  сигнала  и шума),  может  быть  интерпре- 
тировано двумя  способами.  Согласно  одному  из  этих  спо- 
собов, указанному  выше,  согласованный  фильтр,  выделяю- 
щий сигнал  из  аддитивной  смеси  со  стационарным  случай- 
ным шумом,  интерпретируется  как  линейная  система 
с постоянными  параметрами,  импульсная  переходная 
функция  к*  ( т)  которой  определяется  видом  сигнала  и кор- 
реляционной функцией  шума  [см.  (4.65)1.  В частном  случае 
белого  шума  эта  импульсная  переходная  функция  получает- 
ся зеркальным  отображением  сигнала. 

Однако  устройство,  на  выходе  которого  получается 
оценка  (4.76),  можно  интерпретировать  иначе.  Пусть  име- 
ется генератор,  вырабатывающий  на  основании  решения 
интегрального  уравнения  (4.65)  функцию  к*  (т).  Тогда 
оценка  5 (/)  получается  при  помощи  устройства  типа  корре- 
лометра, в котором  функция  к*  (т)  от  местного  генератора 
перемножается  с принимаемой  реализацией,  прошедшей 
линию  задержки,  а полученное  произведение  интегрируется 
по  всему  интервалу  наблюдения.  Подобное  корреляционное 
устройство  для  выделения  сигнала  иногда  называют  актив- 
ным  фильтром  в отличие  от  линейной  системы  с импульс- 
ной переходной  функцией  к*  (т),  которую  называют  пас- 
сивным фильтром  *). 

*)  По  терминологии  Д.  Миддлтона,  активный  и пассивный 
фильтры  представляют  согласованные  фильтры  первого  рода: 
первого  и второго  типа  соответственно  [10] 
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4.4.  НЕЛИНЕЙНАЯ  ФИЛЬТРАЦИЯ 

ПО  КРИТЕРИЮ  МИНИМУМА  СРЕДНЕГО 
КВАДРАТА  ОШИБКИ 

4.4.1.  Общий  метод  характеризации  нелинейных  систем. 

В предыдущих  разделах  рассматривались  оценки  случай- 
ного процесса,  получаемые  линейной  фильтрацией  наблю- 
даемой реализации,  и определялись  характеристики  линей- 
ных фильтров,  оптимальных  в смысле  принятого  критерия 
качества  оценки.  Если  отказаться  от  условия  линейности 
алгоритма  обработки  наблюдаемой  реализации,  то  в более 
широком  классе  допускаемых  оценок  могут  быть,  вообще 
говоря,  получены  оценки,  которые  по  заданному  критерию 
будут  лучше  линейных  оценок. 

При  использовании  линейной  системы  как  устройства 
получения  оценки  связь  между  оценкой  и наблюдаемой 
реализацией  дается  достаточно  простым  интегральным  соот- 
ношением (4.61).  Если  для  оценки  используется  нелинейная 
инерционная  система  (с  возможными  обратными  связями), 
то  такая  простая  связь  оценки  с наблюдаемой  реализацией 
уже  не  имеет  места.  Если  определить  нелинейную  систему 
некоторым  нелинейным  интегродифференциальным  уравне- 
нием, то  при  этом  часто  возникают  значительные  математи- 
ческие трудности.  Можно,  однако,  попытаться  и для  нели- 
нейной • системы  установить  явную  зависимость  процесса 
на  ее  выходе  от  процесса  на  входе. 

Пример  такой  зависимости  дает  формула  (9.5)  в первой 
книге,  которая  выражает  процесс  С (0  на  выходе  типо- 
вого звена  (усилитель  — квадратичный  детектор  — фильтр) 
через  процесс  х (()  =-  5 (/)  ! | (/)  на  его  входе  в виде 
двойного  интеграла 

оо  оо 

ц(?)=  ^ ^ К (и,  ѵ)  х (( — и)  х (I  — ѵ)  йийѵ,  (4.77) 

— оо  — оо 

где 

оо 

К{и,ѵ)  - ^ Ні  (и  — т)  /г2  (т)/ц  (о  — т)  сіт;  (4.78) 

/ц( т),  /г2( т)  — импульсные  переходные  функции  усилится 
и фильтра  соответственно. 

Заметим,  что  для  нелинейной  системы  усилитель  — 
квадратичный  детектор,  т.  е.  при  /г2  (т)  б (т),  ядро 
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Л)  19? 


К (и,  ѵ)  равно  произведению 

К (и,  ѵ)  = Ні(и)Н1{ѵ).  (4-78') 

Представление  вида  (4.77)  можно  обобщить  на  тот 
случай,  когда  характеристика  нелинейного  неинерционного 
элемента  типового  звена  необязательно  параболическая, 
а аппроксимируется  конечным  числом  членов  степенного  ряда 

П 

г У]  а,,  у'1. 

к=і 

Тогда  вместо  (4.77)  получим 

П оо  оо 

Г (0  - У ак  ^ ...  ^ К(ии  . . . , ик)х({  — и,)  ... 

/{  = 1 — ОО  — оо 

■ ■ • х(1  — ик)<1их  . . . с іик , (4.79) 

где 

оо 

К{ии  ...,ик)  = ^ Л4  (и{  — т)  . . . /г,  (ик  — т)  /г2  (т)  йх.  (4.80) 

— оо 

При  /г2(т)^=б(т)  многомерное  ядро  сводится  к произведе- 
нию функций  одного  переменного 

к 

К (и  1,  . . .,  ик)  II  /г,(«і).  (4.80') 

г= 1 

Хотя  во  многих  случаях  сложные  схемы  нелинейных 
систем,  содержащие  обратные  связи,  могут  быть  заменены 
эквивалентными  многокаскадными  типовыми  звеньями,  ука- 
жем на  общий  подход  к вопросу  о том,  как  охарактеризовать 
нелинейную  систему  произвольного  вида.  Отправным  пунк- 
том этого  подхода  является  вполне  естественное  утвержде- 
ние о том,  что  процесс  на  выходе  нелинейной  системы  пред- 
ставляет функционал,  заданный  на  множестве  возможных 
процессов,  действующих  на  ее  вход.  Далее  используется 
одна  замечательная  теорема,  доказанная  еще  в 1910  г. 
французским  математиком  Фреше  *).  Он  показал,  что  для 
любого  непрерывного  функционала  **)  у \х  (<)]  существует 
последовательность  функционалов  уп  [*(*)],  которая  при 
я ->■  °°  сколь  угодно  точно  аппроксимирует  у \х  (і)\. 

*)РгесЬеі  М.  Зиг  1е  Гипсііопеііез  сопііпиез.  Апп.  4е  ГЕсо- 
1е  Могтаі  Зир.,  3-г4  Зег.,  1910,  р.  27. 

**)  О понятии  непрерывности  в функциональном  пространстве 
см.,  например,  учебник:  Шилов  Г.  Е.  Математический  анализ. 
Специальный  курс.  Физматгиз,  1961,  гл.  2,  § 7. 
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Аппроксимирующая  последовательность  представляется 
суммой  интегралов  (так  называемых  интегралов  Воль- 
терра) 


Уп  [х  (/)]  — Д0  -|-  ^ К\  («і)  х (/  — Ы])  сіііі  4- 

— оо 

оо  оо 

+ § ^ К2(иі,и2)х(і  — и1)х(і  — и2)<іиі(іиг+...+ 

— оо  — оо 

ОО  ОО 

у ■ ■ ■ ^ Кп(и  1)  ■ ■ ип)х((  и4).  . . х(1 — ип)сіиі  . . . сіип. 

(4.81) 

Утверждение  Фреше  представляет  собой  теорему  суще- 
ствования, так  как  в формуле  (4.81)  ядра  Кт  (иі}  ...,  ит), 
т = 1і  2,  ...  остаются  неопределенными,  а гарантируется 
лишь  возможность  в каждом  конкретном  случае  найти 
последовательность  аппроксимирующих  функционалов. 

Теорема  Фреше  аналогична  известной  теореме  Вейер- 
штрасса  об  аппроксимации  непрерывной  функции  после- 
довательностью полиномов,  которая  также  относится  к тео- 
ремам существования.  Практически  для  аппроксимации 
непрерывных  функций  используется  та  или  иная  совокуп- 
ность ортогональных  полиномов.  Подобными  методами 
могут  быть  определены  соответствующие  последовательно- 
сти ядер  Кт  ІЦи  ит)  для  аппроксимации  функционалов 
по  формуле  (4.81)  (см.  § 4.4.5). 

Заметим,  что  выражение  (4.79)  процесса  на  выходе 
типового  звена  является  частным  случаем  (4.81)  при 

Кт  {Ц\і  • • • , У-т)  — К ( ^ 1 . ■ * . , ит)1 

где  функции  К (ии  ...,  ит)  определены  согласно  (4.80). 

Если  Кт  = 0 для  всех  т > 1,  то  получаем  чисто  линей- 
ное преобразование  х ((),  причем  Кі  (и{)  — импульсная 
переходная  функция  линейного  фильтра.  Добавление  чле- 
нов ряда  (4.81)  при  т > 1 означает  введение  нелинейности. 
Совокупность  ядер  Ко,  К і,  ....  Кп  характеризует  нели- 
нейный фильтр  п- го  порядка.  Линейные  фильтры  по 
этой  терминологии  являются  фильтрами  первого  порядка. 

Наконец,  следует  оговорить,  что  теорема  Фреше  отно- 
сится, строго  говоря,  к функционалам,  определенным  на 
множестве  детерминированных  непрерывных  функций. 
Будем  предполагать,  не  вдаваясь  в математические  детали, 
что  выполнены  необходимые  ограничения,  при  которых 
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эта  теорема  справедлива  и при  условии,  что  процесс  на 
входе  нелинейной  системы  случайный. 

4.4.2.  Фильтры  второго  порядка.  Пусть  .ѵ  (I)  — реализа- 
ция суммы  двух  стационарных  и стационарно  связанных 
случайных  процессов  | (і)  + т)  (/),  определенная  для  всех 
действительных  значений  і.  Предполагая,  что  средние 
значения  указанных  процессов  равны  нулю,  примем 
в качестве  оценки 

оо 

1(0  = § Аі  {иі)х  (і  — их)  (Іи, 


+ § § К2{чц  и2)х((  — иі)х((  — и2)(1иі(1и2,  (4.82) 

— оо  — оо 

где  К\  («О  = Н*  (мі)  — импульсная  переходная  функция 
оптимальной  линейной  системы,  определенная  из  урав- 
нения (4.12). 

Оценка  (4.82)  отличается  от  рассмотренных  выше  в раз- 
деле 4.2  наличием  нелинейного  слагаемого.  К оценке,  опти- 
мальной в классе  линейных  систем,  добавляется  корректи- 
рующее слагаемое  за  счет  использования  нелинейности. 
Для  формирования  оценки  (4.82)  использована  простейшая 
нелинейная  система  — фильтр  второго  порядка.  Задача 
состоит  в том,  чтобы  определить  характеристику  К а («і,  и2) 
нелинейности  таким  образом,  чтобы  средний  квадрат  ошибки 

= {[^  (0  — 1(012}  (4.83) 

был  минимальным. 

Обозначим  через  Іі  (()  ошибку,  которая  получается, 
если  для  оценки  I (і)  используется  только  оптимальная 
линейная  система,  т.  е. 

оо 

МО  = Б(0-  $ (4.84) 

— оо 

Заметим,  что  ошибка  |4(0  не  коррелирована  с х((), 
так  как  с учетом  (4.12) 

т,  {а-  ((  — ѵ)  Іі  (/)}  - т,  {х  (/)}  — 

оо 

— ^ к*  (иі)ті{х(1  — ѵ)х(1  — иі)}сІиі  = 
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т.  е. 


-=ВчЮ 


^ Н*  («і)  Вх{их  — ѵ)  йііі  = 0, 


— оо 


пЦДОЬ  о.  (4.85) 

Из  (4.82)  — (4.84)  с учетом  стационарности  и стацио- 
нарной связанности  процессов  находим 

оо  ос 

е2  = ^$і(0)  — 2 ^ ^ Кг(их,  и2)  ЩіХ(и{,  и2)  с1ихс1и2-\- 

— оо  — оо 

оо  оо  оо  оо 

+ § § § § К2  (и і,  и2)х 

— ОО  — ОО  — ОО  — оо 

х Кг  (“з.  ид)  тх  (их  — «2,  их  — и3,  и2  — и^)йихйи2д.и3(1и^ 

(4.86) 

где 

Щіх  (Ыі,  М2)  = {?!  (0  л:  (/  - «0  *(/  — ц2)} 

"'і  {{)х(і  — их)х(1  — и2)}  — 

оо 

- § Н*(и3)тх{х((  — их)х((  — и2)х((  — из)}с1и3  = 

— оо 

- и2)  ^ ^ (цз) Шд;^(Ці  Цо,  — и.%)  сІи3\  (4.87) 

— оо 

тх(их  — и2,  их  — и3)  = тх{х(1  — их)х((  — и2)х((—  и3)}\  (4.88) 
тх(их  — и2,  их  — и3,  и2  — и^  = 

= тх  {х  (I  — их)  х((  — и2)  х (( — и3)  х(1  — ы4)},  (4.89) 

а В^1  (0)  совпадает  с минимальной  среднеквадратической 
ошибкой,  определяемой  по  формуле  (4.13),  которая  полу- 
чается при  использовании  линейных  оценок. 

Из  (4.86)  следует,  что  при  использовании  в качестве 
устройства  оценки  нелинейного  фильтра  второго  порядка 
среднеквадратическая  ошибка  оценки  зависит  уже  не 
только  от  корреляционных  и взаимно  корреляционных 
функций  процессов  \ (/)  и ц (і),  но  и от  смешанных  момен- 
тов третьего  и четвертого  порядков. 

Для  того  чтобы  найти  условие,  которому  должно  удо- 
влетворять ядро  К г («і,  и2)  нелинейного  слагаемого  оцен- 
ки, при  котором  величина  г\  будет  минимальной,  исполь- 
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зуем  тот  же  прием,  что  и в § 4.2.1.  Покажем,  что  при  задан- 
ных смешанных  моментах  процессов  до  четвертого  порядка 
включительно  наилучшая  (в  смысле  принятого  критерия 
минимума  среднего  квадрата  ошибки)  нелинейная  фильтра- 
ция второго  порядка  процесса  I (/)  из  его  аддитивной  смеси 
с (0  будет  осуществляться  при  условии,  что  ядро  К2  (ии 
и2)  нелинейного  корректирующего  члена  удовлетворяет 
следующему  двумерному  интегральному  уравнению: 

с»  оо 

Ч2)=  ^ ^ КЪ(и3,  и4)х 

— оо  — оо 

хтх(и{  — и2,  и,  — п3,  и2  — иС)йи3йи^  (4.90) 

Подставим  (4.90)  в (4.86)  и покажем,  что  ошибка 
минимальна  при  условии  К2  (и,  ѵ)  К*  (и,  ѵ).  В результате 
указанной  подстановки  имеем 


8 г в5і(°)  — 2 § § § § К2(и{.  и2)>: 


X К*  (и3,  и4)  тх  (и4  — и2,  и^—и3,  и2  — м4)  гіи,  сІи2сіи3сІиі 


сю  оо  оо  оо 

Т § § § § ^2 («о  Иг)  К2(и3, 

— оо  — оо  — оо  — оо 


и4)  X 


Хтх(их  — «г,  «і  — и3,  и2  — и4)  сіи{  с1и2  <іи3  йик 

оо  оо  оо  оо 

= бь(°)-  § § § § КЪ(иъ  и2)  КЪ(и3,  и4)х 

— оо  — оо  — оо  — оо 

X тх  («і  — и2,  и,—  и3,  и2  — и,,)  йи^и2йи3йи^-\~ 

ОО  ОО  оо  оо 

“Ь  ^ ^ ^ ^ [К2  (и.\ , м2)  /Сг  («і,  и2)1  [/^2  (из,  и4)  — 

— оо  — оо  — оо  — оо 

— КЪ  (и з>  и4)]  тх  (и,  — и2,  и,  — «з,  и2  — и^)  (1ихд,и2йи3йи^. 

(4.91) 

Здесь  использовано  также  очевидное  равенство  [см.  (4.89)] 
яіх  (и4  п2і  Из,  и2  п4)  — Шд:  (Пз  п4,  и3  И|,  и4 — п2). 

Так  как  только  последнее  слагаемое  в (4.91)  содержит 
неизвестную  функцию  К2(и,ѵ)  и так  как  оно  неотрица- 
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тельное,  потому  что 


оо-оооооо 


I ^ ^ ^ 1^2(иііиг)  Кг  (и,,  и?)]  [К2  (и3,  ы4)  — 


— оо  — оо  — оо  — оо 


оо  — оо  — оо  — оо 


К*(и3,  иі)]тх(и1~и2,  их  — и3,  и2  — и4) йиг  Ли3йи^  = 


ОО  ОО 


оо 


оо 


т\  {[  § § [К2(и,  ѵ)  К*  {и,  ѵ)]х(і  — и)х 


оо—оо 


оо—оо 


Хх  (і  — ѵ)  сіи  сіѵ]2}  >0, 


то  минимальное  значение  е“  будет  соответствовать  такому 
нелинейному  фильтру  второго  порядка,  для  которого  ука- 
занное слагаемое  обращается  тождественно  в нуль.  Это 
будет  иметь  место,  если  ядро  К2  ( и , ѵ)  нелинейного  кор- 
ректирующего члена  оценки  совпадает  с функцией 
К ^ {и,  ѵ),  являющейся  решением  интегрального  уравне- 
ния (4.90). 

Полагая  в (4.91)  К2  (и,  ѵ)  = К*  (и,  ѵ),  найдем  мини- 
мальное значение  среднеквадратической  ошибки  оцен- 
ки (4.82): 


хтх(и1  — и2,  «і  — и3,  и2  — ы4)  йи^  сіи2  <іи3  <1иА  (4.92) 
или  с учетом  (4.90) 


— оо  — оо 


где 


еі  тіп  = "М?і2(0}  ВІ1(0)  = ВІ(0)-  § Н*  (и)  Вхі  (и)  сіи 


— оо 


- минимальная  среднеквадратическая  ошибка  линейной 
оценки  [см.  (4.13)]. 

Таким  образом,  использование  оптимального  нелиней- 
ного корректирующего  звена  в фильтре  второго  порядка 
позволяет  дополнительно  уменьшить  среднеквадратическую 
ошибку  при  оценке  только  оптимальной  линейной  системой 


па  величину 


Е1тіп~е2ітіп=  I 5 Кг(“1.  и2)тііх(и1,  и2)йи^и2.  (4.94) 

— оо  — оо 

Рассмотрим  задачу  об  оптимальном  фильтре  второго 
порядка  в более  общем  виде,  отказавшись  от  предположе- 
ния, что  линейная  часть  оценки  (4.82)  задана.  Найдем 
совместно  две  функции  К\  ( и ) и К2  (ы,  ѵ),  минимизирую- 
щие средний  квадрат  ошибки. 

Подставляя  (4.82)  в (4.83),  находим  развернутое  выра- 
жение функционала  г\,  зависящее  от  двух  неизвестных 
ядер  первого  и второго  порядка: 


б*  = 5|  (0)  — 2 ^ Кі  (иі)  Віх  («і)  гіи*  — 

— оо 

Ко  (“),  и2)тіх(ии  и2)  сіиі  ііи2  + 

— оо  — оо 
оо  оо 

+ \ 'ѵ  Кі(иі)К(и-1)Вх(ио  — иі)(іи1сІи2  + 

С/  О 

— оо  — оо 
оо  оо  оо 

+ 2 ^ ^ ^ Кі(Ці) Кг(и2,  и3)тх(и{ — и2,  — и3)ди{йи2йи3г- 

— оо  — оо  — оо 

оо  оо  оо  оо 

Н”  ^ ^ ^ ^ Ко  (иі,  ііо)  Кі  (и3,  и4)  X 

— оо  — оо  — оо  — оо 

Хтх(иі  — и2,  и{  — и3,  и2 — ы4)  с1и2  ди3  сіи^.  (4.95) 


Тем  же  приемом,  который  применялся  выше,  можно 
показать,  что  минимум  среднего  квадрата  ошибки  дости- 
гается при  использовании  такого  нелинейного  фильтра 
второго  порядка,  ядра  которого  удовлетворяют  следующей 
системе  двух  интегральных  уравнений: 

оо 

\ Ко(и2,  и3)тх(и1  — и2,  — и3)  (1и2ди3  + 


оо 

+ § Кі  (и2)  Вх{и2  — и{)  (Іи2^  Віх(иі),  (4.96) 
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— оо 


до  до 


— ОО  — сю 


03 

(і 


+ ^ К*  (и3)  гпх  (и [ — и2і  ііі  — и3)(1и3  = т1х(иии2).  (4.96') 


Заметим,  что  для  независимых  процессов  § (/)  и т]  (I), 
имеющих  симметричные  распределения,  тх  (н,  — щ, 
и і — и3)  = 0 и система  уравнений  (4.96) — (4.96')  распадается 
на  два  уравнения,  первое  из  которых  переходит  в уравне- 
ние (4.12),  а второе  — в (4.90),  так  как  при  этом  т^х  (ии 
и2)  = т |1Х  (и и и2).  Следовательно,  при  указанном  условии 
полученное  выше  решение  задачи  об  оптимальном  фильтре 
второго  порядка  справедливо  и в том  случае,  когда  нет 
никаких  априорных  ограничений  на  линейную  часть 
оценки. 

4.4.3.  Фильтры  произвольного  порядка.  Дальнейшее 
улучшение  оценки  процесса  \ (/)  по  наблюдаемой  реали- 
зации х (I)  аддитивной  смеси  этого  процесса  с другим 
случайным  процессом  т)  (/)  может  быть  достигнуто  путем 
использования  нелинейных  фильтров  более  высокого  поряд- 
ка. В соответствии  с (4.81)  оценку,  даваемую  фильтром 
п- го  порядка,  представляем  в виде 


хх(/  — и4)  . . . х(і  — иі)сІиі  . . . сіііі.  (4.97) 


При  этом  возможны  две  постановки  задачи.  Можно  попы- 
таться отыскать  такую  последовательность  ядер  К\  («О,  ..., 
Кп  («ь  ит ) , которая  минимизирует  средний  квад- 

рат ошибки 


- ш1  Щ (0  - І (012}  = гщ  { [Б  (()  - У § 


ОО 


ОО 
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— ОО 


Условие  минимума  сводится  к системе  п интегральных 
уравнений  относительно  неизвестных  ядер,  аналогичной 
системе  (4.96)— (4.96')  для  п = 2. 

Менее  общая  постановка,  приводящая  к обозримому 
результату,  аналогична  той,  которая  формулировалась 
в начале  § 4.4.2.  Предположим,  что  /Ті  (и)  совпадает 
с импульсной  переходной  функцией  оптимальной  линей- 
ной системы,  ядро  К2  («ь  и2)  корректирующего  нелиней- 
ного элемента  второго  порядка  находим  из  уравнения  (4.90) 
и ядро  К з («і,  «2,  и3)  корректирующего  элемента  третьего 
порядка  определим  из  условия  минимума  е|.  Затем  доба- 
вим нелинейность  четвертого  порядка  и определим 
К/,  («і,  ц2,  и3,  и4)  из  условия  минимума  е*  и т.  д.  Найдем 
рекуррентное  уравнение,  определяющее  К*  (ии  ...,  ип), 
если  уже  определена  последовательность  оптимальных  ядер 
до  (п  — 1)-го  порядка  включительно. 

Обозначим  через  (і)  ошибку,  которая  получается, 
если  для  оценки  I ( і ) используется  нелинейный  фильтр 
(п—  1)-го  порядка: 

71 — 1 оо  оо 

Іп-і  (0  = 1(0—  2 § ■ ■ • ^ Кі(ии  . . .,  іц)х{1  — и{)  . . . 

І = 1 — оо  — оо 

. . . х{1  — щ)(1их  . . . (1иі.  (4.99) 

Тогда  из  (4.98)  находим 

оо  оо 

6п  = Щі  |[^л-і(0—  § • • ^ Кп(ии  . . .,  ип)х 

— ОО  —X) 

хх{1  — и.ь)  ...  х(1  — ип)Аи^  . . . сйгп]2 1 = Віп  ( (0)  - 

оо  оо 

^ Кп(иі,  ■ ■ ■ , ип)тіп_іХ  (ии  гіи,  ...  йип 

— оо  — оо 

оо  оо 

^ ^ ■ ■ ' ’ (ип+іі  • • • , и2п ) X 

— ОО  — оо 

хтх(ии  . . . , и2п)  сЕы,  ...  с1и2п}  (4.100) 

где 

тЕв-і*(“і’  ■ ■ •>  “п)  = 'и1{Ь,-і(0^(<-Иі)  ...  ж (/-«„)}; 

(4.101) 

тл.(пь  ■ • .,  игп)  = ті  (л:(^  — и,)  . . . х(1  — и2п)},  (4.102) 


ЗМ 


а В |П_1  (0)  совпадает  с минимальной  среднеквадратической 
ошибкой,  которая  может  быть  достигнута  при  использова- 
нии последовательности  нелинейных  корректирующих  чле- 
нов до  (п— 1)-го  порядка.  Для  вычисления  среднего  квад- 
рата ошибки  согласно  (4.100)  требуется  уже  априорное 
знание  смешанных  моментов  исходных  процессов  до  2п-го 
порядка  включительно. 

Следуя  применявшемуся  выше  приему,  нетрудно  убе- 
диться, что  оптимальная  по  критерию  минимума  среднего 
квадрата  ошибки  нелинейная  фильтрация  л-го  порядка 
процесса  \ (()  из  его  аддитивной  смеси  с г)  (()  будет  осу- 
ществляться при  условии,  что  ядро  Кп  («ь  ип)  удовле- 
творяет следующему  многомерному  интегральному  урав- 
нению: 

т1п_{х  (Н1>  • ■ ■ і Ч-п)  = 

оо 

^ Кп(ип+і , • • ■ ! Мгп)  41  х (п іі  ■ ■ ■ , Ч-2п)  Лип+ 1 . . . <іи.2п ■ 

- 00 

(4.103) 


При  п — 2 уравнение  (4.103)  переходит  в (4.90). 

Минимальное  значение  среднеквадратической  ошибки 
оценки,  вырабатываемой  нелинейным  фильтром  п-го  порядка, 
равно 


&птіп  — &(п  — 1 )тіп  ' 


^ К*п(и{ 


ип)  X 


хт5п_1*(“і'  ■■■,  ип)  Ли  і ...  <іип.  (4.104) 


При  п - 2 формула  (4.104)  совпадает  с (4.93). 

Уравнение  (4.103)  представляет  рекуррентное  соотно- 
шение, позволяющее  принципиально  определять  характери- 
стику оптимальной  корректирующей  нелинейности  п-го 
порядка,  если  уже  найдены  характеристики  оптимальных 
корректирующих  элементов  до  (п — 1)-го  порядка.  Рекур- 
рентной является  также  формула  (4.104),  по  которой  опре- 
деляется дополнительное  уменьшение  минимального  сред- 
него квадрата  ошибки  за  счет  введения  нелинейности 
п- го  порядка.  Заметим  в заключение,  что,  так  же  как 
и в теории  оптимальной  линейной  фильтрации,  изложен- 
ная выше  методика  может  быть  использована  и для  более 
широкого  класса  ситуаций,  когда  процессы  | (/)  ц р (і) 
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нестационарны,  реализации  их  суммы  наблюдаются  на 
конечном  (или  полубесконечном)  интервале  времени,  а 
оценке  подвергается  значение  не  процесса  \ (/),  а его 
линейного  преобразования. 

4.4.4.  Фильтрация  нормального  случайного  процесса. 

До  сих  пор  не  делалось  никаких  специальных  предположе- 
ний о функциях  распределения  процессов  | (і)  и т)  (/). 
Предположим  теперь,  что  эти  процессы  нормальные.  Тогда 
нетрудно  убедиться,  что  добавление  нелинейных  элементов 
к оптимальному  линейному  фильтру  не  может  уменьшить 
величины  средней  квадратической  ошибки. 

Как  показано  выше,  оптимальная  по  критерию  миниму- 
ма среднего  квадрата  ошибки  нелинейная  фильтрация 
2-го  порядка  процесса  | (/)  из  его  аддитивной  смеси  с т]  (1) 
осуществляется  при  условии,  что  характеристики  К\  (и) 
и К2  («,  ѵ ) нелинейного  фильтра  удовлетворяют  системе 
интегральных  уравнений  (4.96),  (4.96').  Для  нормальных 
процессов  тх  (ы,  — и2,  щ — и3)  = 0,  тІХ  (. ии  и2)  = О 
и,  следовательно,  К*  (и,  ѵ ) = 0,  т.  е.  наилучшей  в указан- 
ном смысле  является  линейная  фильтрация. 

Докажем  теперь,  что  добавление  нелинейного  элемента 
произвольного  порядка  также  не  уменьшает  средний  квад- 
рат ошибки.  Пусть 

со  оо 

Ш-І(0  = М0-  5 ...  5 Кп{ии  ОХ 

— оо  — оо 

Хх(і~и 0 . . . х(і~ип)йиі  ■ ■ • <1ип,  (4.105) 

где  (0  (()  — ошибка,  которая  получается  при  использова- 
нии оптимальной  линейной  системы  [см.  (4.84)].  Повторив 
рассуждения,  которые  привели  к (4.103),  убедимся,  что 
минимум  среднего  квадрата  ошибки  (4.105)  достигается 
при  условии,  что  ядро  Кп  («ь  чп ) удовлетворяет  инте- 
гральному уравнению 

ОО  ОО 

Щ-Ііх  ІЦіі  ■ • • ! мп)  = ^ ...  ^ І\*г  (цп+і,  . . . , и2п)  X 

— оо  — оо 

...,  и2п)  (іа  ...  с1и2п,  п 1 . (4 . 1 06) 

Как  было  указано  выше,  ошибка  (/)  не  коррелирована 
с х(і).  Для  нормальных  случайных  процессов  (I) 
и х(()  это  означает  их  независимость.  Поэтому  в рассмат- 
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риваемом  случае 

т1іх  {ии  . . . , ип)  = от,  {|,  (()  х (I  — ц,)  ...  х(і  — ип)} 

= ті{Іі(1)}ті{х(1  — иі)  . . . х (і  — ип)}, 

и так  как 

оо 

от,  {|,  (0}  = ^ к*  (и)  Шіі  х (I  — и)}  (Іи  = О, 

— с» 

то  для  нормальных  процессов  с нулевыми  средними 

тііх  (ии  . . . , и„)  = 0.  (4.107) 

Из  (4.106)  и (4.107)  следует,  что 

/(*(«,,  . . .,  и„)  = 0,  л>  1.  (4.108) 

Таким  образом,  наилучшая  фильтрация  нормального 
случайного  процесса  из  аддитивной  смеси  с нормальным 
(зависимым,  вообще  говоря,  от  него)  случайным  процессом 
осуществляется  оптимальным  линейным  фильтром,  импульс- 
ная переходная  функция  которого  определяется  из  инте- 
грального уравнения  (4.12).  Этот  результат  обобщается  и на 
нестационарные  нормальные  случайные  процессы. 

То,  что  наилучшая  фильтрация  нормальных  процессов 
линейная,  соответствует  известному  факту  совпадения 
поверхности  регрессии  для  совокупности  нормальных  слу- 
чайных величин  с плоскостью  средней  квадратической 
регрессии  (см.  приложение  V). 

4.4.5.  Интерпретация  нелинейных  фильтров.  Изложенный 
в этом  разделе  метод  оптимальной  нелинейной  фильтрации 
по  критерию  минимума  среднего  квадрата  ошибки  основан 
на  использовании  аппроксимации  непрерывного  функцио- 
нала последовательностями  вида  (4.81).  При  этом  фильтр 
п-го  порядка  характеризуется  последовательностью  ядер 
Кп  («і,  ип),  удовлетворяющих  интегральным  уравнени- 
ям вида  (4.103).  Решив  эти  уравнения,  можно  в принципе 
по  заданной  реализации  х (()  аддитивной  смеси  случайных 
процессов  | (I)  и (і)  сформировать  согласно  (4.97)  оценку 
| (/)  одного  из  этих  процессов,  для  которой  от,  {1|  (/)  — 
— |(/)]2}  минимальна  в классе  нелинейных  фильтров 
п-го  порядка.  Практическая  реализация  фильтра  по  задан- 
ной последовательности  ядер  Кп  связана  либо  с доста- 
точно сложным  вычислительным  алгоритмом,  либо  с какой- 
либо  подходящим  образом  выбранной  интерпретацией 
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ядер.  Одна  из  таких  интерпретаций  основана  на  разложе- 
нии функции  многих  переменных  в кратные  ряды  по  орто- 
гональным полиномам. 

Пусть  {<2„  (х)}  — совокупность  ортонормированных  поли- 
номов с весовой  функцией  ср(х).  Тогда  ядро  Кп{и і,  . . . , ип) 
можно  во  многих  случаях  разложить  в п-кратный  ряд 

Кп  («о  ...,«„)  = ер  (и,)  . . . ф (ип)  х 

оо  ОО 

X 2 • • • 2 ^Г!‘  1 . . ■ тпФ™і  (^1 ) • ■ • Фтд  (Н,г),  ^ 1»  (4. 109) 

ті=0  тп= 0 

коэффициенты  которого  из  условия  ортонормированности 
полиномов  равны*) 

оо  оо 

^гг\\.  . .тп  ^ ^ Кп  • • • ? Мп)  ^ ту  (Ці)  . . . 

— оо  — оо 

• • • (ітп  (ип)  ф (Ц\)  • • . ф ( ип ) с іих  . . . йип.  (4. 109') 
Подставляя  (4.109)  в (4.81)  и обозначая 

оо 

хк(()=  ^ С}к(и)ц(и)х(1  — и)сІи, 

получаем 

Уп  Iх  (01  = + 

2 2 ~і ' • • • 2 0-т\  . . . т^хті  (0  ■■■  Хт  ( 0-  (4.110) 

Л=1  ті  = 0 тк  = ° к к 

Выражение  (4. 1 10)  позволяет  интерпретировать  аппрокси- 
мацию нелинейного  функционала  следующим  образом. 
Имеется  набор  линейных  фильтров  с импульсными  пере- 
ходными функциями 

Ьк(и)  = ц{и)СІк(и),  (4.111) 

выходные  процессы  которых  перемножаются  всеми  возмож- 
ными способами,  а затем  суммируются  с коэффициентами 
(4.109'),  отражающими  специфику  функционала. 

Для  физически  реализуемых  фильтров  условие  Нк  (и)  = 0 
при  и -<  0 выполняется,  если  используется  совокупность 

*)  Для  аналогии  см.  § 2.4.4  в первой  книге. 
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полиномов  Лагерра  (см.  приложение  IV  в первой  книге). 
В этом  случае  импульсные  переходные  функции  (4.111) 
представляют  совокупность  ортогональных  функций 
Лагерра 


У п (м)  — 


-ге<«"0.  и>0 , 
О,  и < О, 


(4.112) 


Приведем  в качестве  примера  приближенное  выражение 
характеристики  нелинейного  фильтра  второго  порядка, 


Рис.  24.  Блок-схема  нелинейного  фильтра  второго  порядка. 


если  используется  набор  лагерровских  линейных  фильтров 
нулевого,  первого  и второго  порядков.  Из  (4.110)  получим 

У2  Iх  (01  ~ Ко  4-  й0х0  4-  афту  4-  а2х2  + 

4-  Яоохо  4~  («оі  4"  Яю)  хохі  4*  (яоз  4 Яго)  ХдХ2  4- 

4*  апх\  4-  (я12  + а2))  х^х2  4-  а2 2х\,  (4. 1 1 3) 

где 

оо 

*о  = *о(/)=  § е-их(і  — и)сІи-,  ■ (4.114) 

о 
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(4.114') 


Хі  = Хі  (/)  = ^ ( 1 — и)  е 11  х (I  — и)  сІи\ 

О 

Хі  = х2  {()  = § (і—  + е~их((—и)йи  (4.114") 


а„і  - ^ Кі(и)Ит(и)сІи , іп  = О,  1,  2,  (4.115) 


оо  сю 


^ ^ (^»  ѵ)  Нгп^и)  кп  (ѵ)  (Іи  сіѵ , иі , /7  0,  1,2. 

— оо  — оо 

(4.115') 

Блок-схема  устройства,  реализующего  указанный  нели- 
нейный фильтр  второго  порядка,  показана  на  рис.  24. 

Задачи 


4.1.  Пусть  (;  (0  — случайный  процесс  на  выходе  линейной  системы 
со  случайными  параметрами  (стационарный  в широком  смысле),  когда 
на  вход  ее  действует  стационарный  в широком  смысле  процесс  | ( I ) 
с энергетическим  спектром  і^(со).  Показать,  что  оптимальная  по 
критерию  среднего  квадрата  ошибки  линейная  оценка  ^ (1)  по  реали- 
зации процесса  | ( і ) осуществляется  пропусканием  этой  реализации 
через  фильтр  с передаточной  функцией,  равной  среднему  значению 
к0  (к о)  передаточной  функции  указанной  выше  линейной  системы. 
Доказать,  что  минимальная  среднеквадратическая  ошибка  при  этом 
равна 

ОО 

е2  . =—  ? Р%  (со)  [Вс  (0,  со)  — | кс  (Ію)  |2]  гіш,  (1) 

Где  Вс( т,  ш) — корреляционная  функция  линейной  системы. 

4.2.  Пусть  в постановке  задачи  § 4.2.3  отбрасывается  условие 

физической  осуществимости  и оценка  процесса  (4.36)  производится 
по  реализации  х ( і ),  наблюдаемой  при  всех  действительных  значе- 
ниях I.  Предположим  также,  что  процессы  | (і)  и Д (0  стационарны 
в широком  смысле,  функция  § ((,  = — т)  и О (ко)  преобразо- 

вание Фурье  функции  §(1).  Доказать,  что  передаточная  функция 
оптимального  фильтра,  вырабатывающего  оценку  О (I)  по  реализации 
суммарного  процесса  |(0~Ні(0>  Равна 

Рх с (оз) 

к*  (Ію)  =0  (Ію)  р*(ы)  , (2) 
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а минимальная  среднеквадратическая  ошибка  равна 

оо 

Етіп  ^ ^ (,ш)  I2  У (ш) — | к*  (/со)  |2  рх  (ш)]  сіш  = 


1 ?|ЛМІ!^(В)  ?*  (“)  ~ I Р*\  (“)  I2 
2^  ^ I о Ы I2 — — - Ло. 

о 


Лѵ:  (ш) 


(3) 


4.3.  Пусть  х (0  — реализация  случайного  процесса,  представля- 
ющего сумму  ^ белого  шума  с интенсивностью  УѴ0  и независимого 
от  него  случайного  процесса  | (/),  который  получается  на  выходе 
интегрирующей  ЛС-цепочки,  когда  на  ее  входе  действует  белый  шум 
с интенсивностью  ІѴв.  Показать,  что  наилучшая  оценка  по  критерию 
минимума  среднего  квадрата  ошибки  экстраполированного  на  время  іп 
значения  процесса  | ( I ) по  реализации  х (I)  имеет  следующий  вид: 

СХЭ 

ѢѴ  ‘ +)  : ^ X (/  — и)  е_“  ' 1+8*ис1и,  ^0>0,  (4) 

О 


где 


Ап  = - 


*-ССІ  о 


1 + 1 1 + 


Л^о 


(4') 


Найти  выражение  для  минимального  значения  среднего  квадрата 
ошибки  экстраполяции  ѵ 


4 


(1  іУі  + 52)2 


> 0. 


(5) 


Получить  из  (4)  и (5)  в пределе  при  ІѴ0  — > 0 (і2  — со)  формулы 
соответствующие  чистой  экстраполяции 


І(І  + 1 о) 

„2 

пип 


-•40  е-ос(°,  і0  >0, 


аЫ8 


(1_е-2“'о). 


(6) 

(7) 


Заметить,  что  случай  фильтрации  в момент  і получается  из  приведен- 
ных формул  при  =0. 

4.4.  В условиях  задачи  4.3  показать,  что  при  ^„<0  наилучшая 
оценка  интерполированного  значения  процесса  § (I)  по  реализации 
х ( I ) имеет  следующий  вид: 


ё ((—  I + |) 


Ѵі+< 


(і-и)  [ 


е-а  Иі+82  (ц-і  /о  |)_ 


2 і іД  1 У е— <*  1 1+82  (и+|  Іо  |)~|  л 

І + Уі+52  1 


(8) 


21  — 197 
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Иепользуя  (4.31'),  найти  для  этого  случая  выражения  минимальной 
среднеквадратической  ошибки  интерполяции.  Убедиться,  что  при 

Л'о  — О 

І(<-|<0І)  = *(М<0 1). 

т.  е.  оценка  сводится  к задержке  на  время  |^0|- 

4.5.  Показать,  что  согласованным  фильтром  для  постоянного 
сигнала  $ (/)  = а является  идеальный  интегратор  с импульсной  пере- 
ходной функцией  к*  (I)  — аи  (I ),  где  и (I)  — единичный  скачок. 

4.6.  Показать,  что  для  импульсного  синусоидального  сигнала 

я (!)  = аБІпш0^>  0</<7’,  ш07’  = (2/?-[  1)  я,  (9) 

импульсная  переходная  функция  согласованного  фильтра  равна 

к*  (и)  = а зіп  со 0и,  и )>  0.  (10) 


ЛИТЕРАТУРА 

МОНОГРАФИИ 

1.  Бен  дат  Дж.  Основы  теории  случайных  шумов  и ее  при- 
менения. Пер.  с англ.,  под  ред.  В.  С.  Пугачева.  Изд-во  «Наука», 
1965,  гл.  4. 

2.  Вайнштейн  Л.  А.,  3 у б а к о в В.  Д.  Выделение  сигна- 
лов на  фоне  случайных  помех.  Изд-во  «Советское  радио»,  1959, 
гл.  2,  3. 

3.  В и н е р Н.  Нелинейные  задачи  в теории  случайных  процес- 
сов. Пер.  с англ.,  под  ред.  Ю.  Л.  Климоновича.  Изд-во  ино- 
странной литературы,  1961. 

4.  Давенпорт  В.  Б.,  Рут  В.  Л.  Введение  в теорию  слу- 
чайных сигналов  и шума.  Пер.  с англ.,  под  ред.  Р.  Л.  Добру- 
шина.  Изд-во  иностранной  литературы,  1960,  гл.  11. 

5.  Д е й ч Р.  Нелинейные  преобразования  случайных  процессов. 
Пер.  с англ.,  под  ред.  Б.  Р.  Левина.  Изд-во  «Советское  радио», 
1965,  гл.  6. 

6.  Лезин  Ю.  С.  Оптимальные  фильтры  и накопители  импульс- 
ных последовательностей.  Изд-во  «Советское  радио»,  1963, 
гл.  1,  2. 

7.  Л и Р.  Оптимальные  оценки,  определение  характеристик 
и управление.  Пер.  с англ.,  под  ред.  Я.  3.  Цыпкина.  Изд-во 
«Наука»,  1966,  гл.  3. 

8.  ЛэннингДж.  X.,  Б е т т и и Р.  Г.  Случайные  процессы 
в задачах  автоматического  управления.  Пер.  с англ.,  под  ред. 
В.  С.  Пугачева.  Изд-во  иностранной  литературы,  1958,  гл.  7,  8. 

9.  М и д д л т о н Д.  Введение  в статистическую  теорию  связи, 
т.  II.  Пер.  с англ.,  под  ред.  Б.  Р.  Левина.  Изд-во  «Советское 
радио»,  1962,  гл.  16. 

10.  Миддлтон  Д.  Очерки  теории  связи.  Пер.  с англ.,  под 
ред.  Б.  Р.  Левина.  Изд-во  «Советское  радио»,  1966,  гл.  3. 

11.  Пугачев  В.  С.  Теория  случайных  функций  и ее  примене- 
ние к задачам  автоматического  управления,  изд.  3.  Физмат- 
гиз,  1962,  гл.  16 — 18. 


322 


12.  С о л о д о в н и к о в В.  В.  Статистическая  динамика  линей- 
ных систем  автоматического  управления.  Физматгиз  1960 
гл.  7,  8.  ’ 

Іо.  С т р а т о н о в и ч Р.  Л.  Условные  марковские  процессы 
и их  применение  к теории  оптимального  управления.  Изд-во 
Московского  университета,  1966. 

Т и хонов  В.  И.  Статистическая  радиотехника.  Изд-во 
«Советское  радио»,  1966,  гл.  13. 

Харкевич  В.  А.  Борьба  с помехами.  Физматгиз,  1963 

§10,11.  ’ 

16.  В а г г е і і Л.  Р.  Арріісаііоп  о[  Иіе  ІЬеогу  оГ  Рипсііопаіз  Іо 
СогшпишсаПоп  РгоЫешз.  СатЪг.  Шіѵ.,  1955. 

\Ѵ  і е п е г N.  ТЬе  іпіегроіаііоп,  ехігароіаііоп  агкі  зтооШпе 
оГ  зіаііопагу  ііте  зегіез.  Л.  \Ѵі1еу,  N.  У.,  1949. 


14 

15 


17 


19 

20. 

21. 

22. 

23. 

24. 


СТАТЬИ 

Боде  Г.  Шэннон  К.  Упрощенное  изложение  линейной 
минимально-квадратичной  теории  сглаживания  и предсказания. 
В сб.  переводов.  «Теория  информация  и ее  приложения».  Под 
ред.  А.  А.  Харкевича,  Физматгиз,  1959. 

Кацнельсон  Дж.  и Гуд  Л.  Конструирование  нели- 
нейных фильтров  и систем  управления.  В книге  Ван-Триса 
Г.  Синтез  оптимальных  нелинейных  систем  управления.  Пер. 
с англ.,  под  ред.  А.  Ю.  Ишлинского.  Изд-во  «Мир»,  1964. 
Колмогоров  А.  Н.  Интерполирование  и экстраполиро- 
вание стационарных  случайных  последовательностей.  «Изве- 
стия АН  СССР»,  серия  математическая,  1941,  № 5. 

С т р а т о н о в и ч Р.  Л.  Применение  теории  процессов  Мар- 
кова для  оптимальной  фильтрации  сигналов.  «Радиотехника 
и электроника»,  1960,  № 11. 

Ханов  и ч И.  Г.,  Яновский  Г.  Г.  Возможные  приемы 
уточнения  линейного  предсказания  стационарных  временных 
рядов.  XXII  Всесоюзная  научная  сессия,  посвященная  дню 
Радио.  Секция  теории  информации,  1966. 

11  А-  0п  гергезепіаііоп  оГ  попііпеаг  орегаііоп. 
ЩЕ  \Ѵезсоп  Сопѵ.  Рес.,  1957,  рі.  2. 

2 а сі  е 1і  Б.  А.  Рго@гезз  іп  ІпГогтаііоп  ТЬеогу  іп  И5А.  ІРЕ 
Тгапз.  1961,  ІТ-7,  № 2,  1963,  ІТ-9,  №4, 


21* 


ГЛАВА 

ПЯТАЯ 


ОБНАРУЖЕНИЕ  СИГНАЛОВ  НА  ФОНЕ 
ПОМЕХ 


5.1.  ХАРАКТЕРИСТИКА  ПРОБЛЕМЫ 

Многообразные  радиотехнические  системы  (связи,  радио- 
локации, телеуправления)  решают  задачи,  связанные  с пере- 
дачей информации  при  помощи  электрических  сигналов, 
подверженных  искажающему  действию  различного  рода 
помех.  Результатом  воздействия  помех  является  частичная 
или  полная  потеря  полезной  информации.;  В связи  с этим 
возникает  ряд  проблем,  в том  числе  проблема  рациональ- 
ного конструирования  (синтеза)  системы,  состоящая  в оты- 
скании оптимальной  по  некоторому  критерию  качества 
процедуры  обработки  наблюдаемого  процесса,  являющего- 
ся комбинацией  сигнала,  содержащего  в закодированном 
виде  полезную  информацию,  и маскирующих  полезный 
сищал  помех., 

ѴМогут  рассматриваться  задачи  двух  видов.  Одной  из 
них  является  задача  обнаружения  сигнала  при  наличии 
помех,  состоящая  в том,  чтобы  по  результатам  обработки 
наблюдаемого  процесса,  который  может  быть  либо  только 
помехой,  либо  комбинацией  полезного  сигнала  и помехи, 
решить,  содержится  ли  полезный  сигнал  в принятом  или 
нет.  Более  общей  является  задача  обнаружения  одного 
сигнала  (или  нескольких)  из  группы  сигналов,  наблюдае- 
мых на  фоне  помех  (так  называемое  различение  сигналов). 

Когда  априори  известно,  что  полезный  сигнал  содер- 
жится в наблюдаемом  процессе,  то  возникает  задача 
выделения  сигнала,  скрытого  помехой,  состоящая  в измере- 
нии некоторого  числа  информационных  параметров  сигнала 
или  описании  самого  сигнала  как  функции  времени. 

Как  сигнал,  так  и искажающие  его  помехи  являются, 
вообще  говоря,  случайными  процессами,  причем  наши 
суждения  об  этих  процессах  базируются  на  выборках 
конечного  размера,  представляющих  либо  конечное  множе- 
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ство  чисел  (дискретная  выборка),  либо  одну  или  несколько 
усеченных  реализаций  наблюдаемого  процесса  (непрерыв- 
ная выборка).  Это  обстоятельство  определяет  статисти- 
ческий подход  к вопросам  обработки  наблюдаемых  процессов 
с целью  извлечения  интересующей  информации.  Точка 
зрения  на  прием  сигналов  как  статистическую  задачу 
стала  уже  традиционной  в современной  радиотехнике. 

^Математические  основы  решения  указанных  выше  задач 
обнаружения  и выделения  сигналов  на  фоне  помех  содер- 
жатся в предыдущих  главах,  так  как  формально  обнару- 
жение представляет  проверку  статистических  гипотез 
о характеристиках  случайной  величины  или  случайного 
процесса  (главы  первая  и третья),  а выделение  — оценку 
параметров  или  фильтрацию  (главы  вторая,  третья,  чет- 
вертая). Также  каки  проверка  гипотез  и оценки,  обе  отме- 
ченные радиотехнические  задачи  могут  рассматриваться 
с единых  позиций  теории  статистических  решений  [6,  15]. 

В этой  и следующих  главах  книги  упор  будет  сделан 
на  детализацию  рассмотренных  выше  статистических  мето- 
дов применительно  к радиотехническим  системам.  Харак- 
терной особенностью  таких  систем  является  передача 
информации  при  помощи  модулированных  электромагнит- 
ных колебаний  высокой  частоты,  вследствие  чего  процессы 
на  входе  приемных  устройств,  являются  узкополосными 
(в  том  смысле,  что  ширина  полосы  спектра  процесса  много 
уже  центральной  частоты  спектра,  см.  § 4.2.4  в первой 
книге).  Поэтому  наряду  с процессами,  имеющими  произ- 
вольный спектр,  будут  отдельно  и более  подробно  рассма- 
триваться узкополосные  процессы,  спектры  которых  в основ- 
ном сосредоточены  в полосе  частот  со0  ± , (Дс  < м0). 

Как  указывалось  в § 6.2  первой  книги,  такие  процессы 
могут  быть  представлены  в виде 

х(()  г (0 соз  (О),,/-)- # (01,  (5.1) 

где  г (/),  -О  (I)  — медленно  меняющиеся  огибающая  и фаза, 
спектры  которых  ограничены  практически  полосой  частот 

(о,  . Поэтому  вместо  выборки,  состоящей  из  2А^  мгно- 

венных значений  наблюдаемого  процесса  (лц,  . . .,  х2п), 
можно  использовать  выборку  того  же  размера,  состоящую 
из  N значений  огибающей  и N значений  фазы  процесса 
(П-  'й'і.  Го,  йо,  . . .,  гЛ-,  й^). 
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Часто  бывает  желательно  до  какой-либо  специальной 
обработки  принятого  сигнала  выделить  его  огибающую  или 
фазу  (т.  е.  продетектировать) , а затем  применять  опти- 
мальную процедуру  обработки  выборки  (г4 гк)  (ампли- 

тудный метод)  или  (§ь  ....  ДЛ.)  (фазовый  метод).  Поэтому 
наряду  с оптимальными  методами  обработки  поступающих 
на  вход  приемного  устройства  процессов  (абсолютно  опти- 
мальная додетекторная  обработка)  будут  рассмотрены 
последетекторные  оптимальные  методы  обработки.  Ясно, 
что  оптимальные  амплитудные  или  фазовые  методы  не 
могут  быть  лучше  абсолютно  оптимальной  процедуры,  так 
как  процессы  выделения  огибающей  или  фазы,  вообще 
говоря,  неизбежно  связаны  с потерей  информации. 

Изложение  ограничивается  случаем,  когда  помехи  — 
аддитивные  и статистически  независимые  от  сигнала  шумы, 
представляющие  стационарный  нормальный  случайный 
процесс  с нулевым  средним  и энергетическим  спектром 
произвольного  вида.  Структура  полезного  сигнала  будет 
оговариваться  особо  в каждом  отдельном  случае. 

В этой  главе  рассматриваются  задачи  обнаружения, 
а в следующей  — выделения  сигналов. 


5.2.  ОПТИМАЛЬНЫЕ  АЛГОРИТМЫ 

ОБНАРУЖЕНИЯ  СИГНАЛА  В АДДИТИВНОМ 
НОРМАЛЬНОМ  ШУМЕ 

5.2.1.  Детерминированный  сигнал.  Начнем  с простейшей 
задачи  обнаружения  детерминированного  сигнала  *)  5 (/) 
в аддитивном  нормальном  шуме.  Задача  состоит  в проверке 
простой  гипотезы  (Я0),  что  наблюдаемый  процесс  стацио- 
нарный, нормальный  с нулевым  средним,  против  простой 
альтернативы  (Н{),  что  этот  процесс  также  нормальный, 
но  со  средним  значением,  изменяющимся  по  известному 
точно  закону  5 (/). 

Выберем  (согласно  § 3.4)  в качестве  наблюдаемых  некор- 
релированные координаты 


т 

хк  = ѴК  ^ х(()щ(1)сН,  (5.2) 

-т 


*)  Это  так  называемое  когерентное  обнаружение. 
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где  х (I)  — реализация  принятого  процесса  на  интервале 
наблюдения  ( — Т,  Т),  а Хк  и срА  (і)  — собственные  числа 
и собственные  функции  интегрального  уравнения 
т 

Ф(/)=А  ^ В(у  — і)ч(у)йу,  |/|<7\  (5.3) 

где  В (т)  — известная  корреляционная  функция  шума  *). 

Ограничиваясь  первыми  N координатами  и учитывая 
(3.45)  и (3.47),  нетрудно  убедиться,  что  логарифм  отноше- 
ния правдоподобия  для  выборки  хі}  ....  Хх  размером  N 
имеет  вид 

N N 

Іп 1 (*і,  -..,**)  = 2 Хі8і  (5.4) 


$і  = ѴК  ^ 5(і)Чі(і)(іІ,  1 = 1,  . ..,  N.  (5.5) 

- т 

Используя  теорию,  изложенную  в гл.  1,  а также  учи- 
тывая (5.4),  нетрудно  сформулировать  правило  выбора 
решения  о наличии  или  отсутствии  сигнала  5 (/)  по  наблю- 
даемым координатам  х1(  ...,  Хдг  его  аддитивной  смеси  с шу- 
мом. Принимается  решение  (у4)  о наличии  сигнала,  если 
для  наблюдаемой  выборки 

N N 

2 х‘5і  ІП  с-р-  -у  2 5і,  (5-6) 

і=1  І=1 

и принимается  решение  (у0)  об  отсутствии  сигнала,  если 
выполняется  неравенство,  обратное  (5.6). 

Таким  образом,  алгоритм  обнаружения  сводится  к вы- 

N 

числению  суммы  2 хі5і  и сравнению  ее  с независящим 

г = 1 

от  наблюдаемой  выборки  порогом 

N 

Іпс  + і-2  5і-  (5.7) 

І=1 


')  Результаты,  приведенные  в гл.  3,  позволяют  легко  обобщить 
решение  рассматриваемой  задачи  на  случай  нестационарного  нор- 
мального шума  с нулевым  средним  и корреляционной  функцией 
В (I,  у). 
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Этот  алгоритм  является  оптимальным  по  любому  из  рас- 
смотренных в первой  главе  критериев  качества  (непоследо- 
вательных): байесовскому  (включающему  как  частные 
случаи  максимум  апостериорной  вероятности  и максимум 
правдоподобия),  критерию  Неймана  — Пирсона  и мини- 
максному. Выбор  одного  из  указанных  критериев  качества 
отражается  лишь  на  константе  с (см.  табл.  1 на  стр.  40), 
т.  е.  на  величине  заранее  устанавливаемого  согласно  (5.7) 
порога  Кк. 

Как  и в общей  теории  проверки  простой  гипотезы  против 
простой  альтернативы,  при  обнаружении  сигнала  на  фоне 
помех  использование  заранее  установленного  правила 
выбора  решения  связано  с возможностью  принятия  ошибоч- 
ных решений  двух  родов.  Ошибка  первого  рода,  называе- 
мая ложной  тревогой,  состоит  в том,  что  объявляется 
наличие  сигнала,  когда  его  в действительности  не  было. 
Ошибка  второго  рода,  называемая  пропуском  сигнала, 
состоит  в том,  что  объявляется  отсутствие  сигнала,  когда 
в действительности  он  содержится  в принятом  процессе, 
но  маскирован  шумом. 

Если  обозначить  через  04  область  М -мерного  простран- 
ства выборок,  удовлетворяющего  неравенству  (5.6),  а через 
О0  — остальную  часть  этого  пространства,  то  условные 
вероятности  ложной  тревоги  а и пропуска  сигнала  р запи- 
шутся в виде  Ісм.  (1.11)  и (1.12)] 

а = Р {уі  | Н0}  = ^ ^ 1КЛ-  (х{,  . . . , л:.ѵ  | 0)  (ІХі  . . . сіх.х, 

Сі 

(5.8) 

Р = Р (То  | Н ,}  = ^ ...  ^ ІЕл-  {хі,  . . . , х.ѵ  | 5)  йхі  . . . йху. 

С о 

(5.9) 

Величину 

1-Р  Я {7і  | //*}  (5.10) 

называют  вероятностью  правильного  обнаружения. 

Можно  обойти  вычисление  кратных  интегралов  в (5.8) 
и (5.9)  и свести  его  к однократному  интегрированию,  если 
воспользоваться  общим  приемом,  указанным  в § 1.2.5, 
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и представить  величины  а и р в виде 

а Р {1п  / (лд,  . . . , Ху)  > 1п  с | Н0} 


{ 2 хі5і  > Ку  | Яо}  , 


І=1 


Р Р { 1 п / (лд,  . . А'лХ  1пс|  //,} 

N 

р { Ухі5ісКу\Н^  . 


(5.11) 


(5.12) 


Случайные  величины  х,,  как  это  следует  из  (5.2),  представ- 
ляют независимые  нормальные  случайные  величины,  сред- 
ние значения  которых  равны  нулю,  когда  верна  гипотеза  Я0, 
и равны  з-п  когда  верна  гипотеза  Ни  а дисперсия  всег- 
да равна 

т т 

М2{хі}  -Хк  ^ \ В((-у)уі(()уі(у)си  йу  = 

-т  - т 


§ ф!  (/)  сК  = і . 

- Т 


При  этом  сумма  независимых  нормальных  случайных  вели- 

ІѴ 

чин  2 хі5і  также  будет  нормальной  случайной  величиной 

І=1 

с нулевым  средним,  когда  верна  гипотеза  Н0,  со  средним 
значением 

N 

<&**  2 8?,  (5-13) 

І=  1 


когда  верна  гипотеза  Ни  и с дисперсией,  равной  сіу  всегда. 
Тогда  из  (5.11)  и (5.12)  находим 


Ку  (2- (Іу)2 

Р = Г 1 — - ^ е 2йх  йг  /• 

У 2я лЪ  Д 


/ Ку  — сіу  \ 

V 1 ' 
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Учитывая  (5.7),  можно  выражения  условных  вероятностей 
ложной  тревоги  и пропуска  сигнала  представить  в виде 


<5Л4> 

Р-'гёг-т*')-  е-'5> 


Для  критерия  максимального  правдоподобия  («идеаль- 
ного наблюдателя»)  величина  с равна  единице,  и из  (5.14), 
(5.15)  следует  равенство  условных  вероятностей: 

« = Р 1 -Р(т)-  (5Л5') 

Отметим,  что  правило  выбора  решения,  аналогичное  (5.6), 
получается  и в том  случае,  когда  в качестве  наблюдаемых 
координат  процесса  принимаются  не  независимые  величи- 
ны Хи,  определяемые  согласно  (5.2),  а зависимые  выбороч- 
ные значения  процесса  в N моменты  времени,  т.  е. 

хк  = х((к),  к=  1 , . . . , А7. 


Используя  матричное  представление  многомерного  нор- 
мального распределения  (см.  (2.57)  в первой  книге),  мож- 
но логарифм  отношения  правдоподобия  по  коррелированной 
выборке  Хі,  . . .,  хм  представить  в виде 


1п/(Х)  = 5'М1Х-І5'М  Д,  (5.16) 

где  X и $ — векторы-столбцы,  элементами  которых  слу- 
жат л:  (4)  и 5 (4)  соответственно  {к  = 1 УѴ),  а М 1 — 

матрица,  обратная  корреляционной  матрице  шума. 
Обозначая 

з'М-^ІІ,  (5.17) 

можно  логарифм  отношения  правдоподобия  представить 

в виде  разности  скалярных  произведений  векторов: 

1п  1(хи  хх)  - 11Х-1  ІД 

^ і 

N N 

ЧкХк  2~  (5.18) 

к=  1 к~1 

Правило  выбора  решения  формулируется  теперь  следую- 
щим образом:  присутствует  сигнал,  если  для  наблюдаемой 
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выборки 


N N 

Уі  Ы**к>1пс  + у2  ик8к,  (5.19) 

Ь=  і А«=і 

и сигнал  отсутствует,  если  выполняется  неравенство,  обрат- 
ное (5.19).  н 

Как  и правило  (5.6),  правило  (5.19)  предписывает 
линейную  обработку  принятой  системы  выборочных  дан- 
ных  — взвешенное  суммирование  и сравнение  результата 
суммирования  с заранее  установленным  порогом,  завися- 
щим от  известных  априорных  характеристик  сигнала 
и шума  и от  критерия  качества.  Условные  вероятности 
ложной  тревоги  и пропуска  сигнала  определяются  по  фор- 
мулам (5.14)  и (5.15),  в которых  вместо  величины  сіК, 
подсчитываемой  согласно  (5.13),  подставляется  другая, 
которая  находится  из  соотношения 

N 

<&=%ик8к.  (5.20) 

Отличие  правила  (5.6)  от  правила  (5.19)  состоит  в том, 
что  в первом  случае  используются  независимые  координа- 
ты наблюдаемого  процесса,  получаемые  из  реализации  на 
заданном  интервале  интегрированием  с весами,  которые 
определяются  решением  интегрального  уравнения  (5.3), 
а во  втором  — зависимые,  непосредственно  наблюдаемые 
выборочные  значения,  которые  затем  суммируются  свеса- 
ми, представляющими  компоненты  произведения  вектора- 
строки  сигнала  и обратной  корреляционной  матрицы  шума. 
Наиболее  трудоемкой  операцией  в первом  случае  является 
решение  интегрального  уравнения  (5.3),  а во  втором  — 
обращение  корреляционной  матрицы  М.  Заметим,  что  при 
одинаковом  размере  выборки  N рабочие  характеристики 
обнаружения  по  алгоритмам  (5.6)  и (5.19),  вообще  говоря, 
отличаются  друг  от  друга. 

Наконец,  рассмотрим  оптимальный  алгоритм  обнару- 
жения в том  случае,  когда  результаты  наблюдений,  пред- 
ставленные непрерывной  реализацией,  не  дискретизируются 
и обработка  этих  результатов  проводится  только  в ана- 
логовой, а не  цифровой  форме. 

Для  этого  используем  результаты  § 3.5,  полагая 
5і  (/)  = 5 (/)  и 50  (і)  «=  0.  Тогда  из  (3.81)  следует  правило 
выбора  решения:  сигнал  присутствует,  если  для  наблюда- 


331 


емой  на  интервале  (—Г,  Т)  реализации  х (і) 
т т 

§ V (1)х(1)с11^\пс  ^ V (1)8(1)  <11  = Кт,  (5.21) 

-Г  -Т 

и сигнала  нет,  если  выполняется  неравенство,  обратное 

(5.21) .  Величина  с,  как  и в предыдущих  формулах,  опреде- 
ляется критерием  качества,  а функция  V ( 1 ) представляет 
решение  неоднородного  линейного  интегрального  уравнения 

т 

^ В (1  — и)  V (и)  сіи  5(1),  | / 1 < 7\  (5.22) 

-г 

Как  следует  из  (3.87)  и (3.88),  условные  вероятности  лож- 
ной тревоги  и пропуска  сигнала  определяются  по  форму- 
лам (5.14)  и (5.15),  если  в них  <1 ѵ заменить  величиной  сіт , 
которая  подсчитывается  по  формуле  1см.  (3.86)] 

т 

ат  V <н)'\  (5.23) 

— Г 

Нетрудно  обнаружить  аналогию  в формулах  (5.6),  (5.19), 

(5.21) ,  а также  в формулах  (5.13),  (5.20)  и (5.23). 
Заметим,  что  при  обнаружении  детерминированного 

сигнала  в аддитивном  нормальном  белом  шуме  из  (3.79) 
следует,  что  функция  V (1)  в формулах  (5.21)  — (5.23)  равна 

І/(1)  = ^5(0-  (5.24) 

Обозначив  через  Е3  энергию  сигнала  за  интервал  наблю- 
дения 

т 

Е8=  [зЦПсК,  (5.25) 

С.І 

-Т 

получим  из  (5.21)  следующее  правило  обнаружения  сигнала 
в белом  шуме:  сигнал  присутствует,  если 
т 

§ 5 (1)  х (1)  <11  > 1п  с + 2^- . (5.26) 

-т 

Параметр  сіт,  определяющий  условные  вероятности  лож- 
ной тревоги  и пропуска  сигнала,  в этом  случае  равен 
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[см.  (5.23)  — (5.25)1 


(1т 


і± 

N о ’ 


(5.27) 


т.  е.  равен  отношению  энергии  сигнала  к спектральной 
плотности  шума. 

Вводя  мощность  сигнала  ~ и среднюю  мощность 

шума  7Ѵ,,/7  в эффективной  полосе  I7  сигнала,  можно  фор- 
мулу (5.27)  переписать  в виде 

гі2г  2РТ&,  (5.27') 


где  52  — отношение  мощности  сигнала  к средней  мощно- 
сти шума. 

Исключая  из  двух  соотношений^.  14)  и (5.15)  величину 
1 п с,  можно  записать  аналитически  связь  между  вероят- 
ностью правильного  обнаружения  и вероятностью  ложной 
тревоги  в виде  [ср.  (1.77')] 

А'а  — А'1-в  = е(,  (5.28) 


где  х<і  и Л'і_р  — процентные  точки  нормального  распределе- 
ния вероятностей,  а параметр  сі  в зависимости  от  принятой 
методики  обработки  определяется  по  формулам  (5.13), 
(5.20)  или  (5.23). 

На  рис.  25  сплошными  линиями  показано  семейство 
кривых 

1-Р  = /(а;  й),  (5.29) 

называемое  рабочей  характеристикой  обнаружения.  Штрих- 
пунктирная  линия  пересекает  кривые  в точках,  соответ- 
ствующих критерию  максимального  правдоподобия  («иде- 
ального наблюдателя»). 

Укажем  на  важную  интерпретацию  оптимального  алго- 
ритма обнаружения  (5.21).  Используя  результаты  § 4.3.1, 
находим,  что  оптимальная  линейная  обработка  наблюдае- 
мой на  интервале  (— Т,  Т)  реализации  х ( і ) для  обнаруже- 
ния детерминированного  сигнала  5 (1)  состоит  в пропуска- 
нии этой  реализации  через  согласованный  фильтр  с им- 
пульсной переходной  функцией 

Л*(  т)  Ѵ(Т- т),  |т|<7\ 

где  V (I)  представляет  решение  интегрального  уравнения 
(5.22).  Этот  фильтр,  как  отмечалось  в § 4.3.4,  может  быть 
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выполнен  в виде  коррелометра.  В случае  обнаружения 
в аддитивном  белом  шуме  реализация  согласованного  филь- 
тра упрощается,  так  как  импульсная  переходная  функция 
представляет  просто  зеркальное  отображение  сигнала. 
Сооівегсівующнй  коррелометр  при  этом  просто  вычисляет 
взаимную  временную  корреляционную  функцию  наблюда- 
емой реализации  и детерминированного  сигнала. 


Рис.  25.  Рабочие  характеристики  обнаружения  де 
терминированного  (сплошные  линии)  и квазидетер 
минированного  сигнала  (пунктир). 


Итак,  оптимальное  устройство  обнаружения  детермини- 
рованного сигнала  на  фоне  аддитивного  нормального  шума 
представляет  согласованный  фильтр,  за  которым  следует 
безынерционный  пороговый  элемент.  3 

5.2.2.  Квазидетерминированный  сигнал.  Рассмотрим 
теперь  более  сложную  задачу  обнаружения  квазш детермини- 
рованного сигнала,  представляющего  узкополосный  процесс 
с заданными  законами  амплитудной  а (і)  и фазовой  (() 
модуляции  и со  случайной  начальной  фазой  *)  гр0: 

5 (0  = а (0  соз  [®0(  — (/)  ф0],  (5.30) 

) Это  так  называемое  некогерентное  обнаружение. 
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в аддитивном  узкополосном  нормальном  шуме.  Задача 
состоит  в проверке  простой  гипотезы  (Я0),  что  наблюдае- 
мый процесс  — стационарный,  нормальный  с нулевым 
средним,  против  сложной  альтернативы  (Я,),  что  этот 
процесс  также  нормальный,  но  со  средним  значением  5 (/), 
которое  представляет  одно  из  континуума  реализаций, 
соответствующих  изменению  случайной  фазы  фо  в интер- 
вале ( — я,  я). 

Воспользуемся  комплексным  представлением  реализа- 
ций узкополосного  случайного  процесса  (см.  § 6.2.2  и при- 
ложение VII  в первой  книге) 

.ѵ(/)  = Ке2(/)е,'ш«',  (5.31) 

где  2 (/)  — комплексная  огибающая  узкополосного  про- 
цесса, связанная  с его  огибающей  г (/)  и фазой  й (/)  соот- 
ношением 

г(і)  — г (/)  ешй\  (5.32) 

причем 

г(і)  = А(()  + іС(і),  (5.32') 

где  А ( і ) и С (()  — квадратурные  составляющие  узкополос- 
ного случайного  процесса.  Для  нормального  процесса  эти 
составляющие  также  нормальны.  Комплексная  огибающая 
квазидетерминированного  сигнала  (5.30),  обозначаемая 
2 8 (/),  равна 

2 8 (/)  ^ а (()  е - "МО,  (5.33) 

5 (/)  = Ке  2„  (()  еіс°о'  еісс°.  (5.33') 

Теперь  реализация  х (0  на  интервале  наблюдения 
( —Т , Т)  может  быть  охарактеризована  совокупностью 
некоррелированных  координат  комплексной  огибающей 

т 

гк  = У § г (/)  ер*  (/)  М.  (5.34) 

-т 

Здесь  и ф/і  (/)  — собственные  числа  и собственные 
функции  интегрального  уравнения*) 

т 

ф(/)  А,  ^ Вг(і  — и)  ц (и)  сіи,  (5.35) 

-г 

*)  Нетрудно  также  убедиться,  что  функция  двух  переменных 
В~  ((  — и)  симметрична  и положительно  определенная  (см.  § 3.3.1), 
а собственные  числа  V,  действительны  и положительны. 


335 


где 


в А т)  = {ш,  {2(0г(^  + т)} 


(5.35') 


^корреляционная  функция  комплексной  огибающей  шума, 
действительная  и мнимая  части  которой  совпадают  с корре- 
ляционной и взаимной  корреляционной  функциями  квад- 
ратурных составляющих 


ЯеВ.іт)  ВА( т)  Вс  (т),  (5.36) 

Ігп  В г (т)  ВАС  (т)  — Всл  (т).  (5.36') 

Из  (5.34)  и (5.35)  имеем 


піі  {гкгт} 


О,  кфт, 

2,  /г  ш. 


Используя  (5.32),  (5.36)  и (5.36'),  нетрудно 
что 


(5.37) 

показать, 


ті  {гкгт}  0 (5.37') 

для  всех  кит. 

Если  хк  и ук  действительная  и мнимая  части  коор- 
динаты гк,  то  из  (5.37),  (5.37')  следует  (см.  § 3.4.5): 

ті  {ХкУт}  - 0 для  любых  к и т,  (5.38) 

ті{4}  т{{уку  1,  (5.38') 

тЛ хкх,п}  ту  {унут}  0,  к фт.  (5.38") 

Кроме  того,  для  шума  без  сигнала  (гипотеза  Н0) 
ті  {г  (0}  = 0,  и,  следовательно, 

ті{Хк\  В0}  т,  {ук  | Н0}  т{{гк\Н0}  0,  (5.39) 


а для  шума  с сигналом  (гипотеза  Нг)  /п1{г( Л}  г,  (/)еіч)«, 
и поэтому 

т,{гк\Н^  5/,е'Чо,  (5.39') 

т\  {а'а  \Ні}  - ак  сов  ф0  — Ьк  зіп  фо, 

ІУі і|  Н ак  зіп  фо  -(- Ьк  соз  фо, 
где 

т 

Ч - ак  4-  іЬк  - ѴГк  ^ (<)  фь  (1)сК.  (5.39'") 

- т 
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Так  как  компоненты  комплексной  огибающей  нормаль- 
ного узкополосного  процесса  нормальны,  то  случайные 
величины  хі,  у ь ....  хк,  у х представляют  совокупность 
независимых  случайных  величин.  Соответствующее  этим  2 N 
координатам  наблюдаемого  процесса  выражение  логарифма 
отношения  правдоподобия  может  быть  записано  в виде 
[см. (3.71)] 


,п  1 (-И,  Уи  • ■ • , хх,  ум  | фо)  V [(хІ-\-у\)  — 

А=1 

— ( хк  — ак  со5  фо  г Ьк  зіп  ф0)2  — (ук  — ак  зіп  ф0  — Ьк  соз  ф0)2] 

(5.40) 

или  в комплексной  форме 

/V 

1п/(24,  . . .,  2л-|фо)^  V (гй5Ае-4Фо)_1|5А  |2І  (5.41) 

Переходя  к построению  правила  выбора  решения,  при- 
мем вначале  байесовский  критерий  качества.  В этом  слу- 
чае, как  было  показано  в § 1.4.2  [см.  (1.110')],  оптимальное 
правило  базируется  на  сравнении  с порогом  (зависящим 
от  априорной  вероятности  наличия  сигнала  и платы  за 
ошибочные  решения)  усредненного  отношения  правдоподо- 
бия. і ак  как  в рассматриваемой  задаче  было  принято,  что 
случайный  параметр  ф0  имеет  равномерное  распределение 
то  из  (5.41)  получаем  (см.  также  § 3.5.3) 

2я 

-V  (гь  . . . , г.ѵ)  = 2^  у(гп  • ■ ■ > 2лг  | Фо)  Лр0  = 
о 


ехр  | 


N 

у 

к 1 


!■№ 


■д.со8(ф0-фЛ7) 


• сіфо, 


где 


Гм 


ф.ѵ  = агсі§ 


гг-19? 


2 гк8к  | ; 

1=1 

(5.42) 

N 

ІШ  V.  гк$к 

- /і — 1 

. ДГ 

(5.42') 

Ке  2 гкзк 

к- 1 
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Используя  известное  интегральное  представление  функции 
Бесселя  от  мнимого  аргумента  (см.,  например,  первую 
книгу,  стр.  121),  получим  окончательно 

N 

Л (2і,  • • • - 2д-)  = /о  ('Л')  ехР  { — у ^ I 8,1  I2}  • (5'43) 

к=  1 

Таким  образом,  если  ограничиться  первыми  N координа- 
тами 2і,  ...,  комплексной  огибающей  наблюдаемого 
процесса,  то  байесовское  правило  выбора  решения  о нали- 
чии или  отсутствии  квазидетерминированного  узкополос- 
ного сигнала  в аддитивной  смеси  с шумом  может  быть  сфор- 
мулировано следующим  образом:  принимается  решение  (у4) 
о наличии  сигнала,  если 

N 

1п/0(г^)>1пс  + у 2 К|2,  (5.44) 

к=  1 

и решение  (у0)  об  отсутствии  сигнала,  если  выполняется 
неравенство,  обратное  (5.44). 

Неравенство  (5.44)  может  быть  переписано  в виде 
[ср.  с (5.6)] 

Лѵ Сд-,  (5.44  ) 

где  Сдг  определяется  из  трансцендентного  уравнения 

N 

1п  /0  (Сіѵ)  - Д'д  - 1п  с ф у 2 I I2-  (5.45) 

А---  1 

Итак,  оптимальный  (байесовский)  алгоритм  обнаруже- 
ния в рассматриваемом  случае  сводится  к вычислению 
величины  г м (т.  е.  к существенно  нелинейной  обработке 
наблюдаемых  координат)  и сравнению  результата  с незави- 
сящим от  выборки  порогом  сЛ-,  определяемым  соглас- 
но (5.45). 

Вероятностные  характеристики  обнаружения  зависят 
прежде  всего  от  распределения  случайной  величины  гЛ-, 
определяемой  согласно  (5.42).  Нетрудно  найти  это  распре- 
деление. Действительно,  случайные  величины  гь  представ- 
ляют независимые  комплексные  нормальные  случайные 
величины  с нулевыми  средними,  когда  верна  гипотеза  Я0, 
и со  средними,  равными  5/4е*ф0,  когда  верна  гипотеза  Я4. 
Дисперсия  этих  величин  для  обеих  указанных  гипотез 
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равна  [см.  (2.116)  в первой  книге] 

{ | гк  ] } пц  { | гк  |2}  т,  {4}  У пц  {у\} 
или  с учетом  (5.38') 

Л'і2{Ы)  = 2.  (5.46) 

Отсюда  следует,  что  случайная  величина  г я представляет 
модуль  комплексной  нормальной  случайной  величины  (или 
плоского  случайного  вектора)  с независимыми  компонента- 

N 

ми,  дисперсия  которой  равна  2 2 | зк  |2,  а среднее  зна- 
чение  равно  нулю,  когда  верна  гипотеза  Я0,  и равно 

N 

У}  I 5й  ]2  ег(Р»,  когда  верна  гипотеза  Ну. 

к~  1 

Распределение  модуля  такого  вектора  было  подробно 
рассмотрено  в § 3.2.2  первой  книги,  из  которого  следует, 
что  случайная  величина  Гдг  подчиняется  релеевскому  рас- 
пределению 

_ Г 2 

(0  - 4-е  , г > 0,  (5.47) 

Я(Ѵ 

когда  справедлива  гипотеза  Н0,  и обобщенному  релеевскому 
распределению 

_ Г2+ДѴ 

^і(0  = д:е  /о  (0,  г>0,  (5.48) 

если  верна  гипотеза  Я,. 

В формулах  (5.47)  и (5.48)  параметр  йм  равен  [ср. 
с (5.13)] 

N 

4ѵ=2Ы2-  (5.49) 

к=  1 

Теперь  можно  записать  выражения  для  вероятностей 
ложной  тревоги  и пропуска  сигнала.  Так  как  функция 
1п  /0  (г)  монотонно  возрастающая,  то  в соответствии  с опти- 
мальным правилом  (5.44) 

« = Р {1п  /о  М > Км  | Но}  - Р {Гм > сЛ- 1 Я0),  (5.50) 

Р = Р {Іи  /о  Ы < Км  | Я,}  = Р {гК  < см  | Я4},  (5.51 ) 
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где  Сн  — абсцисса  точки  пересечения  кривой  у \пІ0(г) 
с прямой  у - Кх  [см.  (5.45)]. 

Из  (5.50)  и (5.51)  с учетом  (5.47)  и (5.48)  находим 


Л' 


(5.52) 


Су 

_у2_ 

|4  е 2 ^ хе  2 І0  {х(1у)  (іх. 
о 


(5.53) 


Последний  интеграл  подробно  табулирован  (см.  ссылки 
в третьей  главе  первой  книги). 

Наряду  с рассмотренной  выше  процедурой  обнаружения 
по  дискретной  выборке,  найдем  аналогичный  алгоритм 
в том  случае,  когда  результаты  наблюдений  не  дискретизи- 
руются, а представляются  непрерывной  реализацией  х (/) 
на  интервале  (—Г,  Т). 

Из  (3.78),  учитывая  (5.35')  и подставляя  вместо  5 (/) 
величину  г8  (()  еі(Р°,  находим  выражение  для  функционала 
отношения  правдоподобия,  соответствующее  наблюдаемой 
на  интервале  ( —Т , Т)  комплексной  огибающей  г (/)  про- 
цесса при  заданном  ср0: 

т 

/[г  (0|  Фо]  ехр|Ке  ^ 1/(/-,ф0)г(0  п'/| 

-т 

т 

Хехр|— уКе^  V (/;  ф0)  г„.  (/)  е-іф0  сИ  | , (5.54) 


где  V ( і ; фо)  определяется  из  неоднородного  линейного 
интегрального  уравнения  [см.  (3.77)] 
т 

5 Вг  (( — и)  V (и\  фо)  йи  =г5(/)еЧ  | / (5.54') 

— Г 

Вводя  функцию 

ф0)е-і(р»,  (5.55) 

можно  локализовать  параметр  ф0  в выражении  функцио- 
нала отношения  правдоподобия.  Подставляя  (5.55)  в (5.54), 
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получаем  для  определения  V (і)  интегральное 


I Вг((~у)ІІ  (у)сІу  = г8{1)1  |/|<7\ 
-т 


уравнение 

(5.56) 


из  которого  видно,  что  функция  и (()  не  зависит  от  ер0. 
Заметим,  что  комплексное  интегральное  уравнение  (5.56) 
эквивалентно  системе  двух  действительных  интегральных 
уравнений  относительно  действительной  и (/)  и мнимой 
ѵ (()  частей  функции  II  ((): 

т 

\ [ ВЛ  (/  — у)  и {у)  — Влс  ( і — у)ѵ  (у)]  сіу  = 

-Т 

а(()  созф,  (/),  (5.56') 

т 

§ I ВА(і  — у)ѵ(у)  + Вас  (( — у)  и (у)]  сіу  - 
-г 


а (/)  зіп  (/), 


і\<Т. 


(5.56") 


Выражение  (5.54)  функционала  отношения  правдоподо- 
бия можно  с учетом  (5.55)  переписать  в виде 

т 

1п[г(0|фо]  ехр  |Кееі(Ро  ^ и (()ЦГ)сК^  X 

— Т 

т 

хехр  {-І-Ке  ^ и ( і ) г 8 (/)  о!/|  = 

-т 


где 


ехр 


§ и (1)г(1)сІІ  соя  (фо  Фт)  X 


1 

х ехр  | - -і  ^ і/  (I)  ІГ(0  ЛІ } , (5.57) 

-т 


т 

Іш  К і!  (()  г (()  сіі 

Фт  агсі§ — =!■ ; (5.57') 

Ке  )’  II  (I)  г (і)  сП 
-т 
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знак  Ке  при  втором  сомножителе  в (5.57)  опущен,  так 
как  интеграл  действительный  и положительный: 


1 т 

5^(0  МОЛ-  \ЩГ)г8(()Ш  = 

г 


= 5 ^ вг(і~у)И(у)и  (і)сіуси  = 

-Т  -Т 

т 

= пц  { | § >0.  (5.58) 

-т 

Усредняя  функционал  (5.57)  по  случайной  равномерно 
распределенной  (в  интервале  | ср0 1 < л)  фазе,  получаем 

Л[2(0]  = /о(/’т)е"  2 , (5.59) 

где  введены  обозначения  [аналогичные  (5.42)  и (5.49)]: 


т 


г {і)йі  ; 

-т 

т 

(5.60) 

§ ІІ 

(5.61) 

-г 


Оптимальное  (по  байесовскому  критерию  минимального 
риска)  правило  выбора  решения  может  быть  теперь  сфор- 
мулировано следующим  образом:  сигнал  присутствует,  если 
для  наблюдаемой  на  интервале  (—Г,  Т)  реализации  ком- 
плексной огибающей  г (1) 

1п  /0  (гт)  > 1п  с + = Кт  (5.62) 

или 

г’т'^'Сті  (5.62  ) 

где  величина  ст  определяется  из  трансцендентного  урав- 
нения 
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1п  /о  (^г)  — Кт- 


(5.63) 


Случайная  величина  гт  — модуль  комплексной  нормаль- 
ной случайной  величины  ^ ІІ  ({)~г(і)сІ(,  среднее  значение 

-т 

которой  равно  нулю,  когда  справедлива  гипотеза  Н0,  и равно 
с1!г  е1ф0,  когда  справедлива  гипотеза  Нх.  Дисперсия  этой 
величины  в соответствии  с (5.58)  всегда  равна  [см.  (5.35')] 

Т т 

м2{|  § V (/)2(0*|}  =ті  Л ^ Н (і)Щсі(\2\=2сі2т.  (5.64) 

-Г  _Т  } 

Таким  образом,  случайная  величина  гт  имеет  реле- 
евское  распределение  с параметром  сір,  когда  верна 
гипотеза  Н0,  и обобщенное  релеевское  распределение 
с параметрами  (ьД,  сір),  когда  верна  гипотеза  Н{. 
Поэтому  вероятности  ложной  тревоги  и пропуска  сигнала 
определяются,  как  и в дискретном  случае,  также  по  форму- 
лам (5.52),  (5.53),  с очевидной  заменой  величин  <фѵ,  Кх, 
Сх  на  сІт,  Кт,  ст,  причем  последняя  определяется  из  транс- 
цендентного уравнения  (5.63). 

При  обнаружении  квазидетерминированного  узкополос- 
ного сигнала  в аддитивном  нормальном  белом  шуме  со 
спектральной  плотностью  ІѴ0  функция  ІІ  (/)  в форму- 
лах (5.60),  (5.61)  равна 

= (5.65) 


Тогда  оптимальный  алгоритм  обнаружения  сводится  к вычис- 
лению величины  *) 

т 


-г 


(5.66) 


и сравнению  ее  с порогом  ст  [см.  (5.63)],  причем  параметр 
а-г  в этом  случае  равен 

т 

^ |гД0І2^,  (5.66') 

. -Г 

) Оптимальное  устройство  обнаружения  может  вместо  Гр 
вычислять  любую  монотонную  функцию  !(гт)  и сравнивать  ее 
с/  \ст)<  не  изменяя  при  этом  величин  вероятностей  ошибок.  Таким 
ооразом,  рабочая  характеристика  обнаружения  определяется 
не  отношением  сигнал/шум  на  выходе  устройства,  которое  зависит 
от  вида  функции  / (г т),  а отношением  энергии  сигнала  к спектраль- 
ной плотности  белого  шума  (или  аналогичной  величиной  (5.61), 
когда  спектр  шума  неравномерный). 


т.  е.  совпадает  с отношением  энергии  (узкополосного) 
сигнала  к спектральной  плотности  шума  [ср.  с (5.27)]. 

На  рис.  25  пунктиром  дана  рабочая  характеристика 
обнаружения  квазидетерминированного  узкополосного  сиг- 
нала. Сравнение  с кривыми,  изображенными  сплошными 
линиями,  при  одинаковых  значениях  параметра  с1т  дает 
представление  о том,  насколько  ухудшаются  характери- 
стики обнаружения  по  сравнению  со  случаем  детермини- 
рованного сигнала. 

В случае  обнаружения  гармонического  сигнала  5 (/)  = 
= А0  со5  (ы0/  + фо)  со  случайной  фазой  из  (5.66) 
получаем 


т 


т 


[(  Л(0^)Н  ( ^ С(/)Л)2]-  . (5.67) 

Т 'Г 


-Т  — Т 


Учитывая,  что  квадратурные  составляющие  А (/)  и С (I) 
наблюдаемой  реализации  х(()  медленноменяющиеся  по  срав- 
нению с созшоС  (5.67)  можно  записать  в виде*) 


г 


-г 


т 


(5.67') 


-г 


Параметр  (1\  при  этом  равен 

,2  2 ТАІ 
ат  — -»г- 


*)  Например: 

т 


т 


-т  -т 

Т т т 


т 


-т  -т  -т 

т 


-т 
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Заметим,  что  в соответствии  с (3.102)  критическая  об- 
ласть для  фиксированной  величины  ф„,  в которой  откло- 
няется гипотеза  Н0  (т.  е.  принимается  решение  о наличии 
сигнала),  определяется  по  критерию  Неймана  — Пирсо- 
на неравенством 
т 

Не  Л V (/;  ц>0)г~(Т)сІ(  = г т соз  (ср0  — фг)  > К.  (ср0),  (5.68) 

-Г 

где  К (фо)  определяется  заданной  вероятностью  а ложной 
тревоги.  Из  (5.68)  видно,  что  равномерно  наиболее  мощ- 
ного правила  в рассматриваемом  случае  не  существует. 
Возможна  модификация  этого  критерия,  состоящая  в том, 
что  используется  усредненное  по  ф0  правило  (5.68),’ 
т.  е.  байесовское  правило  (5.62'),  в котором  сТ  находится 
по  формуле  Ісм.  (5.52)1 

с-т  - сіт  2 1п  . (5.69) 

Оптимальный  алгоритм  обнаружения  (5.62')  допускает 
достаточно  простую  интерпретацию,  если  от  комплексных 
величин  перейти  к действительным.  Тогда  (5.62')  можно 
переписать  в виде 


(Ке  гт)~  -)-  (Ігп  г т)2  > с?, 

(5.70) 

Кегг=  § Іи(і)А(і)+ѵ(і)С(і)]Ш\ 

-т 

(5.71) 

Ігп  гт  = 5 [ѵ(і)А(і)— и(()С(і)]0і. 

(5.71') 

-т 


Пусть  к*  (т)  и к*  (т)  — импульсные  переходные  функции 
фильтров,  согласованных  с квадратурными  составляющими 
сигнала  а (()  созф8  (I)  и а (I)  зіпф3  ({).  Эти  функции  опре- 
деляются решениями  системы  линейных  интегральных 

уравнений  (5.56')  и (5.56''): 

А?  (О  -и(Т  — т),  | т | < Г,  (5.72) 

к*  (т)  = ѵ (Т  — т),  | т | < Т.  (5.72') 

Оптимальная  нелинейная  обработка  наблюдаемой  на  интер- 
вале (— Т,  Т)  реализации  х (/)  для  обнаружения  узкополос- 
ного квазидетерминированного  сигнала  в аддитивном 
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нормальном  шуме  состоит  (рис.  26):  1)  в пропускании 
квадратурных  составляющих  наблюдаемого  процесса  через 
две  группы  фильтров,  согласованных  с квадратурными 
составляющими  сигнала,  2)  в образовании  суммы  и разно- 
сти выходных  значений  в каждой  группе  фильтров,  3)  в двух- 
полупериодном  квадратичном  детектировании  суммы  и раз- 
ности, 4)  в суммировании  продетектированных  величин. 

Если  нет  фазовой  модуляции  сигнала,  то  к*  = О, 
и в каждой  из  упомянутых  групп  фильтров  остается  один 
фильтр,  согласованный  с огибающей  сигнала  а (/). 


Рис.  26.  Блок-схема  оптимального  устройства  обнару- 
жения узкополосного  квазидетерминированного  сигнала. 

Итак,  оптимальное  устройство  обнаружения  узкополос- 
ного квазидетерминированного  сигнала  на  фоне  аддитивно- 
го нормального  шума  состоит  из  системы  фильтров,  сум- 
маторов и квадратичных  детекторов,  за  которой  следует 
безынерционный  пороговый  элемент.  Практически  исполь- 
зуется эквивалентное,  но  более  простое  оптимальное  устрой- 
ство, состоящее  из  одного  согласованного  с сигналом  филь- 
тра и линейного  детектора,  выделяющего  огибающую. 

5.2.3.  Стохастический  сигнал.  Предположим,  что  полез- 
ный сигнал,  так  же  как  и аддитивный,  независимый  от 
сигнала  шум,  является  стационарным  нормальным  случай- 
ным процессом  с нулевым  средним  и отличается  от  шума 
только  энергетическим  спектром  (т.  е.  корреляционной 
функцией).  Пусть  известны  корреляционные  функции  Вс  (т) 
и Вт  (т)  сигнала  и шума.  Задача  обнаружения  такого 
стохастического  сигнала  состоит  в проверке  гипотезы  Н0 
о том,  что  корреляционная  функция  стационарного  нор- 
мального случайного  процесса  равна  Вш  (т),  против  альтер- 
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нативы  #і,  что  корреляционная  функция  процесса 
Вс  (т)  + Вт  (т). 

Выберем  согласно  § 3.5.4  в качестве  наблюдаемых  некор- 
релированные координаты 

Т 

Хк  = ѴК  5 х(і)ч (5.73) 
-т 

где  .ѵ (0 -реализация  принятого  процесса  на  интервале 
( Т,  Т ),  а Хк  и Фй  (()  — собственные  числа  и собственные 
функции  (ненормированные)  линейного  интегрального  урав- 
нения [см.  (3.120)] 
т т 

§ Вс  V — У)  (Р  (У)  Лу  = (^  — 1 ) § Вш  ((  — у)  ф (у)  сіу,  1 1 1 < Т, 

-т  -Г 


(5.74) 

причем  нормировка  собственных  функций  производится 
согласно  равенству 


т т 

^ § § Вш{(  — у)Ч>ь(1)<Ѵт(у)сІЫу  = 
- Т -т 


1,  к = т, 
0,  кфт. 


(5.74') 


В соответствии  с (3.122)  логарифм  отношения  правдо- 
подобия для  выборки  я-),  . . . , Ху  конечного  размера  N 
имеет  вид 


N N 

\п1(хи  . . .,  А^)  = у 2 х\  — у 2 1п^ь-  (5.75) 

ь=1  й=1 

Правило  выбора  решения  формулируется  теперь  следую- 
щим образом:  сигнал  присутствует,  если 

N N 

2 *А  > 2 1п  с + 2 1п  (5-76) 
Ь=1  * А=1 

и отсутствует,  если  выполняется  неравенство,  обратное 
(5.76).  Таким  образом,  алгоритм  обнаружения  стохастиче- 
ского сигнала  сводится  к вычислению  взвешенной  суммы 
квадратов  выборочных  данных  (некоррелированных  коор- 
динат) и сравнению  с заранее  устанавливаемым  порогом 

N 

/Слг  = 21п  с+  2 ІпА*.  (5.76') 

А=1 
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Этот  алгоритм  оптимален  по  любому  из  введенных  в первой 
главе  (непоследовательных)  критериев  качества.  Выбор 
того  или  иного  критерия  отражается  лишь  на  величине 
порога  (константы  с). 

Условные  вероятности  ложной  тревоги  и пропуска 
сигнала  определяются  при  помощи  распределений  (3.126), 
(3.126'): 

оо  ос  .V  1 

« = 5 [п(1-ттУ]  2х 

ІП  С — ОО  к=  і 

N 

X ехр  | — у-  1п  И (і  +^)}*іѵхЛѵсІх,  (5.77) 

к=  1 

І11С  ОО  N _ 1 

— оо—оо  к=  1 

N 

X ехр  | — ~ 1п  ] I ( 1 + ^ } еіѵх  йѵ  сіх, 


(5.78) 


к=  1 


где 


ѵк 


кк- 1 ■ 


Интерпретацию  алгоритма  обнаружения  стохастического 
сигнала  в аналоговой  форме  рассмотрим  для  случая,  когда 
аддитивный  шум  белый,  т.  е.  Вш  (г)  - ІѴ06  (т).  В этом  слу- 
чае собственные  числа  равны 

Яй=1+Тѵ^’  (5‘79) 

где  — собственные  числа  линейного  однородного  инте- 
грального уравнения 

ф(/)  = р § Вс((  — у)^(у)<іу,  (5.80) 

-г 

причем  собственные  функции  ц>к  (I)  исходного  уравне- 
ния (5.74)  связаны  с собственными  функциями  уравне- 
ния (5.80)  соотношением 

= фА(0- 
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(5.80') 


Наличие  аддитивного  белого  шума  исключает  сингу- 
лярность, и,  следовательно,  суммы  в выражении  (5.75) 
отношения  правдоподобия  имеют  конечные  пределы  при 
іѴ  — і-  сх)  (см.  § 3.5.4).  Рассмотрим  сумму  в левой  части  (5.76) 
при  N -*■  оо.  Подставляя  вместо  хк  его  выражение  из  (5.73) 
и учитывая  (5.74),  (5.80),  (5.80'),  получаем 


V 

А = 1 


Я.Й-1 


х\  = 


Т Г оо 

-Т  -Т  А=1 


(5.81) 


Функция  двух  переменных 


Н(и,ѵ) 


ь=  1 


-Л'ойА 


(5.82) 


удовлетворяет  интегральному  уравнению  (см.  § 3.5.6) 

Г 


^ Вс  (( — и)  к (и,  ѵ)  сіи  4-  Л70/г  (/,  и)  Вс((  — ѵ),  (5.83) 


1 1 < Т,  | ѵ | < Т. 


Действительно,  подставляя  в левую  часть  (5.83)  выраже- 
ние к (и,  ѵ ) из  (5.82),  изменяя  порядок  суммирования  и 
интегрирования  и учитывая  (5.80),  получаем 


т 

^ Вс((  — и)  к (и,  ѵ ) сіи 

-т 


1 

А—  1 


І|)/і  (0  \|)А  {у) 
М1  (Л'оРа) 


У 

* — 1 

к=  1 


оо 

4а  (0  4-а  (г)  _ ,,  ХЗ  4а  (0  4а  (у) 
йа  0 2л  1+УѴ0цй 

А=1 


Если  учесть,  что  первая  сумма  представляет  ортогональ- 
ное разложение  корреляционной  функции  сигнала  [см.  (3.24)] 


В с (і  — ѵ) 


у 4а  (0  4а  (г) 


А=1 
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а вторая  сумма  в соответствии  с (5.82)  равна  N 0Н  (і,  ѵ),  то 
справедливость  высказанного  утверждения  становится  оче- 
видной . 

Используя  (5.81)  и (5.82),  перепишем  правило  (5.76) 
выбора  решения  следующим  образом:  сигнал  присутствует 
в белом  аддитивном  шуме,  если  для  наблюдаемой  реали- 
зации х (і) 

т т 

^ ^ к(и,  ѵ)  х (и)  х{ѵ)  сіи  с!ѵ>  К,  (5.84) 


/С  = 21пс+  2 1пЯ(  (5.84') 

І=  і 

и к (и,  и)  — решение  интегрального  уравнения  (5.83). 
Бесконечная  сумма  в (5.84')  сходится  и выражается  через 


г 


Рис.  27.  Блок-схема  оптимального  устрой- 
ства обнаружения  стохастического  сигнала. 


резольвенту  ядра  Вс  (і  — и)  уравнения  (5.83)  [см.  (3.136) 
в § 3.5.6]. 

Таким  образом,  оптимальное  устройство  обнаружения 
стохастического  (нормального)  сигнала  на  фоне  аддитив- 
ного нормального  белого  шума  представляет  нелинейный 
фильтр  второго  порядка  (см.  § 4.4.2),  за  которым  следует 
безынерционный  пороговый  элемент  (рис.  27)  *). 

Вероятности  ложной  тревоги  а и пропуска  сигна- 
ла (4  определяются  в рассматриваемом  случае  по  форму- 
лам (3.141)  и (3. 141'). 

В заключение  рассмотрим  предельный  случай,  когда 
сигнал  также  является  нормальным  «белым  шумом»,  т.  е. 
случайным  процессом  с равномерным  на  всех  частотах 
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) Ср.  также  с блок-схемой  на  рис.  21. 


энергетическим  спектром,  интенсивность  которого  Мс 
не  равна  интенсивности  УѴ0  мешающего  белого  шума.  Тогда 
Вс  (т)  = УѴС5  (т)  и из  (5.80)  и (5.74)  следует,  что 

^ = лЬ  ^=1+1Г0-  (5-85) 

Правило  выбора  решения  по  N некоррелированным 
выборкам  формулируется  в этом  предельном  случае  так 
1см.  (5.76)]: 


сигнал  присутствует,  если 

Т-|-лт/°Ѵо  2 4 > 2 1п  с -|  Л/  1п  ( 1 + 


или 


где 


N 

V 

/_\  ' 

к=  1 

N 

^1  хк'^'У2і 
к=  1 


(5.86) 

(5.87) 


т’- 2('+й)|"И'+^)=]-  <5-88> 

При  достаточно  большом  N сумму  в левой  части  неравен- 
ства (5.87)  можно  заменить  интегралом*) 

N Т 

2 - л/7  5 *2  (0  йі-  (5.89) 

к—  I _ т 


Из  (5.87)  и (5.89)  следует,  что  алгоритм  обнаружения 
сводится  к сравнению  отношения  энергии  наблюдаемого 
процесса  х (I)  к спектральной  плотности  шума  с некоторой 

константой  у2,  определяемой  согласно  (5.88)  величиной  ^ 

и постоянной  с (т.  е.  выбором  критерия).  Приемное  устрой- 
ство, осуществляющее  указанную  процедуру,  может  быть 
названо  энергетическим  приемником. 

Так  как  независимые  нормальные  случайные  вели- 
чины с нулевыми  средними,  то  случайные  величины 

N N 


2 Х А- 
А=  1 


— Л'°  у хі 

Л^с  + АГо  х * 

*«=  1 


(соответственно,  когда  сигнала  нет  и когда  сигнал  присут- 
ствует)  имеют  ^-распределение  (см.  задачу  3.15  в первой 


) Заметим,  что  величина  у при  N ->  оо  неограниченна. 
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Книге).  Тогда,  используя  формулу  (21)  в задаче  3.15, 
находим  условные  вероятности  ложных  тревог  и правиль- 
ного обнаружения: 


о. 


(5.90) 


Р 


Та  Л'о  \ 

2 .V,.  ■ - /V о / 


(5.91) 


где  Г (х,  у)  — неполная  гамма-функция  [см.  (1.41)  в пер- 
вой книге]. 

Если  объем  выборки  большой  (Д  > 1),  то,  используя 
асимптотическое  приближение  неполной  гамма-функции 
(см.  (1.43)  в первой  книге),  получаем  из  (5.90)  и (5.91) 

1-Р  [(г-ѴЩѴЩ,  (5.92) 

е-'ф  <5-93> 


Формулы  (5.92)  и (5.93)  связывают  между  собой  (при  задан- 
ном с)  число  наблюдений  N , отношение  мощностей  сигнала 
N2  и шума  ЛГ0  на  единицу  полосы  частот  и вероятности 
ложных  тревог  а и пропуска  сигнала  (3 . 


5.3.  ПОСЛ  ЕДЕТЕКТОРНОЕ  ОБНАРУЖЕНИЕ 

5.3.1.  Амплитудный  метод.  Переходим  к изучению  алго- 
ритмов обнаружения  при  условии,  что  до  какой-либо 
специальной  обработки  принятый  узкополосный  процесс 
детектируется,  т.  е.  выделяется  либо  его  огибающая,  либо 
фаза.  При  приеме  высокочастотные  процессы  до  детекти- 
рования усиливаются  (например,  в усилителе  промежу- 
точной частоты),  поэтому  в этом  разделе  предполагаем,  что 
ширина  полосы  пропускания  Д додетекторного  усилителя 
много  больше  ширины  спектра  принимаемого  сигнала, 
в отличие  от  предыдущего  раздела,  в котором  линейная 
система  всегда  оказывалась  согласованной  с сигналом. 

Рассмотрим  сначала,  каково  оптимальное  правило  выбо- 
ра решения  о наличии  или  отсутствии  сигнала  по  реали- 
зации огибающей  наблюдаемого  процесса,  представляющего 
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либо  нормальный  стационарный  узкополосный  шум  с нуле- 
вым средним  (гипотеза  Н0),  либо  сумму  этого  шума 
и детерминированного  узкополосного  сигнала  5 (()  = 
= а (О  со3  [и0 і — (/)]  (гипотеза  НУ).  Вероятностные  ха- 

рактеристики этих  процессов  приведены  в восьмой  главе 
первой  книги.  Используя  указанную  там  терминологию 
(см.  стр.  427),  можно  рассматриваемую  задачу  сформули- 
ровать так:  проверяется  простая  гипотеза  (Я0),  что  наблю- 
даемая огибающая  является  релеевским  процессом,  против 
простой  альтернативы  (Н 4),  что  она  — обобщенный  релеев- 
ский  процесс  *). 

Следуя  общей  методике,  необходимо  было  бы  в каче- 
стве наблюдаемых  координат  огибающей  принять  некор- 
релированные величины 

т 

Гк  = ѴК  § г(()ц>к(()си,  (5.94) 

т 

где  г (/)  — реализация  огибающей  на  интервале  наблюдения 
( Т,  Т)\  кк  и ф к(і)  — собственные  числа  и собственные 
функции  интегрального  уравнения 
т 

Ч>(*)  = * $ ВЕ(у-{)ч>(у)с1у,  | / 1 < 7\  (5.94') 

-г 

ВЕ  (г)  — известная  корреляционная  функция  огибаю- 
щей шума. 

_ДЛЯ  того  чтобы  найти  функцию  распределения  случай- 
ной величины  гк  согласно  (5.94),  необходимо  решить  одну 
из  самых  сложных  задач  теории  случайных  процессов 
(см.  гл.  9 в первой  книге),  которая  состоит  в определении 
распределения  процесса  на  выходе  линейной  системы, 
когда  распределение  процесса  на  ее  входе  отлично  от  нор- 
мального (в  рассматриваемом  случае  это  распределение 
релеевское).  Случайные  величины  гк,  к = 1,  2,  . . 
не  являются  ни  нормальными,  ни  релеевскими  и из  их 
некоррелированности  не  следует  независимость.  Вычисле- 
ние отношения  правдоподобия  для  выборки  (ги  . . .,  г^) 

*)  Заметим,  что  распределение  огибающей  суммы  квазидетер- 
минированного  процесса  и нормального  шума  также  обобщенное 
релеевское  (см.  стр.  424  в первой  книге).  Поэтому  выводы  этого  раз- 
дела относятся  также  к обнаружению  квазидетерминированного 
сигнала  [см.  (5.30)]. 


23-197 
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представляет  трудно  разрешимую  задачу.  Поэтому  отойдем 
от  приведенной  точной  постановки  и ценой  некоторых 
допущений  упростим  задачу  *). 

Допуская,  что  энергетический  спектр  шума  равномер- 
ный в полосе  Д,  представим  наблюдаемые  некоррелирован- 
ные координаты  огибающей  в виде  (3.41): 


г^у'ж,  5 '<о 

-Г 


зіп  (Аі — лк) 
АІ — лк 


(К, 


(5.95) 


где  Л'о  — спектральная  плотность  шума. 

Кроме  того,  предполагаем,  что  время  наблюдения 

Т > 4-  • Так  как  при  А — > оо  функция  — — Л(А^~Я^  — > 

а л АІ—лк 

— ^ б ( / — ) , то,  учитывая  принятое  условие  ДТ>1, 

из  (5.95)  получим 

или 

(5.96') 

где  ^ - — дисперсия  шума; 

Ек  = г(‘х)  — выборочное  значение  огибающей  при  і = ~ . 

Таким  образом,  в качестве  наблюдаемых  координат 
приняты  выборочные  значения  огибающей  через  равные 

интервалы  времени  ^ , причем  эти  значения  приближенно 
можно  считать  некоррелированными. 

Так  как  из  некоррелированности  значений  огибающей 
нормального  случайного  процесса  следует  их  статистиче- 
ская независимость  (см.  § 8.2  в первой  книге),  то  некорре- 
лированные координаты  гк  представляют  независимые  слу- 
чайные величины. 


*)  Такой  упрощенный  подход  (без  достаточно  строгих  обоснова- 
нии) был  единственным  в ранних  работах  по  статистической  теории 
обнаружения  сигналов  (см.,  например,  [18]). 
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Ограничиваясь  первыми  N координатами,  нетрудно 
записать  функции  правдоподобия  выборки  (г,,  . . . , г у)  для 
двух  указанных  выше  гипотез  (см.  (8.17)  и (8.18)  в первой 
книге): 


N 4 

«Мп,  ...,/Уѵ|#0)=  II  гке  2,  Гк>0,  (5.97) 

к=  1 

N 4+<4 

Г.ѵ  (/у,  . . . , Гу  I Я,)  = П гке  2 /0  (Ллал),  гк  > 0,  (5.97') 

к—  і 

где 

(5.98) 

представляет  отношение  амплитуды  сигнала  (в  момент  вре- 

, лк  \ 

мени  і = — \ к среднеквадратическому  значению  шума. 

Из  (5.97)  и (5.97')  находим  логарифм  отношения  правдо- 
подобия 

N N 

1п  / (П,  . . . , г„)  = 2 1п  ;о  Ыь)  - І 2 (5-") 

й=1  й=і 

Теперь  нетрудно  сформулировать  оптимальное  правило 
выбора  решения:  если  для  наблюдаемой  выборки  г и Гу 

координат  огибающей 

N N 

2 ІП  /о  (гкай)  > 1п  с + -Г  2 «I  = ^Сіѵ,  (5.100) 

й=1  Л=1 


то  принимается  решение  (у4)  о наличии  сигнала,  а если 
выполняется  неравенство,  обратное  (5.100),  то  — решение  (у0) 
о его  отсутствии. 

Константа  с в формуле  (5.100)  определяется  принятым 
критерием  качества  (байесовским,  Неймана  — Пирсона, 
минимаксным)  согласно  табл.  1 на  стр.  40. 

Вычисление  условных  вероятностей  ложных  тревог 
и пропусков  сигнала  в общем  виде  в этом  случае  не  пред- 
ставляется возможным.  Однако  поддается  исследованию 
приближенное  выражение  этих  вероятностей  при  слабом 
сигнале,  когда  тах  ак  <С  1. 

к 
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Разложим  Іп  /о  (г/{Ок)  в степенной  ряд,  ограничиваясь 
первым  членом,  т.  е.  пренебрегая  членами,  содержащими 
степени  а к не  ниже  четвертой  *): 

1п/0 (гкак)^~  ( гкак )2. 

Тогда  из  (5.100)  находим  более  простое  правило:  сигнап 
присутствует,  если 


N 

аІгІ>4Ку-  (5.101) 

л=і  ' ' 


Таким  образом,  алгоритм  обнаружения  в рассматривае- 
мом случае  сводится  к вычислению  взвешенной  суммы 
квадратов  выборочных  значений  огибающей  и сравнению 
ее  с порогом,  зависящим  только  от  выбранного  критерия 
и априорных  характеристик  сигнала  и шума. 

Используя  (3.6)  и (3.7)  и возможность  их  обобщения 
на  случайные  процессы  (см.  § 3.2.3),  можно  приближенно 
при  ТА  > 1 сумму  в (5.101)  заменить  интегралами: 


где 


и 


(5.102) 


(5.103) 


N N 


Т 

5 г2  (0  а?  (і)  сіі. 
-т 


(5.104) 


Подставляя  (5.102)  и (5.104)  в (5.101),  можно  правило 
выбора  решения  выразить  аналитически  следующим  нера- 
венством: 


1 

4іѴ0а2 


$ г2(0а*(0<й>1пс  + , 
-т  0 


(5.105) 


*)  Разложение  в ряд  и сделанное  приближение  должны  интер- 
претироваться в вероятностном  смысле. 
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из  которого  следует,  что  основными  элементами  оптималь- 
ного приемного  устройства  при  амплитудном  методе  обна- 
ружения слабого  сигнала  являются  квадратичный  детек- 
тор и коррелометр,  вычисляющий  взаимную  корреляцию 
выхода  г2  (()  детектора  и квадрата  огибающей  а2  (()  детер- 
минированного сигнала. 

Для  определения  вероятностей  ложных  тревог  и про- 
пуска сигнала  при  использовании  алгоритма  (5.101)  или 
(5.105)  необходимо  в общем  случае  решить  достаточно 
сложную  задачу  о распределении  взвешенной  суммы  квад- 
ратов независимых  случайных  величин,  распределенных 
по  обобщенному  закону  Релея,  в первом  случае,  или  задачу 
о распределении  интеграла  от  квадрата  обобщенного  релеев- 
ского  процесса,  во  втором. 

Если  размер  выборки  большой  (УѴ  > 1),  то  распределе- 
ние суммы  в левой  части  (5.100)  независимых  случайных 
величин  можно  в силу  центральной  предельной  теоремы 
при  принятых  ограничениях  относительно  а*  (см.  § 3.4 
в первой  книге)  считать  нормальным  со  средним  и диспер- 
сией, равными*)  (при  тахал<СІ) 

к 

N N , 

щ4{2  1п/0  (а*Ай)  | //о}  ~22  ак  ( 1 "гг  ) • (5-106) 

А=1  й=1 

N N 

М2  { ^ 1п  /0  (акгк)  | До}  « 4 ^ аі,  (5. 106') 

й=1  й=  1 

когда  сигнала  нет,  и 

N N , 

т4{2  1п/о(аы„)|Яі}  «2  % а%  ( 1 +-^)  , (5. 106'') 

й=1  к= 1 

N N 

М2{2  \п  I о (акгк)  \ Н ^ «4^  4.  (5.106") 

й=1  к=  1 

когда  сигнал  присутствует. 

Из  (5.106)  — (5.106"')  следует,  что  при  гпах  ад  < 1 

к 


*)  О вычислении  моментов  для  квадратов  релеевской  и обобщен- 
ной релеевской  случайных  величин  см.  в гл.  2 и 3 первой  книги. 
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и N > 1 логарифм  отношения  правдоподобия  (5.99)  рас- 
пределен (приближенно)  по  нормальному  закону  с пара- 
метрами: 

N 

ті  {ІП  / (г4,  . . . , г„)  I Но}  = - ■}  2 а Ь’ 

к=  1 

"Ч  {1п/  (г,,  . . . , Л дг)  | Я,}  = -і-  2 4, 

Й=і 

М2  {1п  I (г  1,  />)|Я0}  = 

ІѴ 

= ЛГ2  {1п  / (г4 г„)|//,}=4-2Х 

й=і 

Обозначив 

5^=т2 

к=і 

представим  вероятности  ложных  тревог  и пропусков  сигнала 
следующими  формулами: 

““  1 ("Ѵ  + 5")  ' (5.109) 

Р = /,(тГ-!»)  ' (5- НМ') 

Заметим,  что  для  абсолютно  оптимального  метода  обна- 
ружения вероятности  ложных  тревог  и пропуска  сигнала 
[см.  (5.14)  и (5.15)]  определяются  параметром  кото- 
рый равен  корню  квадратному  из  суммы  квадратов  нор- 
мированных значений  сигнала,  в то  время  как  указанные 
величины  в формулах  (5.109)  и (5.109')  определяются  пара- 
метром 5Я,  который  равен  корню  квадратному  из  суммы 
четвертых  степеней  нормированных  значений  огибающей 
сигнала.  Отсюда  следует,  что  при  слабом  сигнале  ухудше- 
ние рабочей  характеристики  обнаружения  при  оптималь- 
ной последетекторной  обработке  по  сравнению  с оптималь- 
ной додетекторной  обработкой  связано  с тем,  что  в первом 
случае  она  определяется  квадратом  отношения  сигнал/шум, 
а во  втором  — первой  степенью  этого  отношения. 

Аналогичным  образом  можно  исследовать  асимптотиче- 
ские свойства  рабочей  характеристики  обнаружения,  исхо- 
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(5.107) 
(5.107') 

(5.107'') 

(5.108) 


Дя  из  алгоритма  (5.105)  обработки  реализации  при  Т —у  о о 
и учитывая,  что  при  этом  распределение  интеграла  в (5.105) 
приближается  к нормальному  (см.  § 9.4.2  в первой  книге). 
Заметим,  что  для  сильного  сигнала,  т.  е.  при  тіп  > 1, 

к 

используя  асимптотическое  разложение  бесселевой  функции 
(см.,  например,  стр.  123  в первой  книге),  неравенство  (5.100) 
можно  представить  в виде 

N 

Д акгк>Кн  (5.110) 

или  приближенно  при  ТА  » 1 [см.  (5.105)]  в виде 
т 

$ г(()а(1)сі(>\пс  + -^-.  (5.111) 

— т и 


В этом  случае  оптимальное  приемное  устройство  содержит 
линейный  детектор  и коррелометр,  определяющий  взаим- 
ную корреляцию  между  выходом  детектора  и огибающей 
детерминированного  сигнала. 

При  N > 1 аналогично  предыдущему  находим,  что 
логарифм  отношения  правдоподобия  при  тіп  > 1 имеет 

к 

нормальное  распределение  с параметрами: 

N 

Ші  {ІП I (г и ...,/*)  I Я0} і-  2 4-  (5. 1 12) 

к==  1 
N 

т1  {1п  1(ги  ....  глОІЯа  — 2 4,  (5.112') 

й=1 


Мо  {1п  / (г4,  . . . , г гг)  I Н0}  ~ 2 2 4,  (5. 1 12") 

А=і 

342  {1п  / (ги  — , гдг)  | — 2 4.  (5.112"') 

й=і 

Вероятности  ложных  тревог  и пропусков  сигнала  равны 
соответственно 


а - 1 


-р( 


1п  с 


-+■ 


4 


41/2  1 2 1/2 

)• 


( ІП  с 

4 

1 <1я 

2 

(5.113) 

(5.114) 
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где 


<1%  = 2 4- 


(5.І15) 


Заметим,  что  в рассматриваемом  случае  сильного  сигнала 
4 N > 1)  вероятность  пропуска  сигнала,  подсчитанная 
согласно  (5.114),  не  отличается  от  этой  величины  при  опти- 
мальной додетекторной  обработке  [см.  (5.15)].  При  опреде- 
лении вероятности  ложной  тревоги  второе  слагаемое  (основ- 
ное) в аргументе  интеграла  Лапласа  в У 2 раз  меньше 
аналогичного  слагаемого  в формуле  (5.14). 

5.3.2.  Фазовый  метод.  Перейдем  к определению  опти- 
мального правила  выбора  решения  о наличии  или  отсут- 
ствии детерминированного  сигнала  в аддитивном  узкопо- 
лосном нормальном  шуме  по  реализации  фазы  О (()  наблю- 
даемого процесса.  Вероятностные  характеристики  фазы, 
соответствующие  двум  гипотезам  Н0  (фаза  шума)  и Я4  (фаза 
аддитивной  смеси  сигнала  и шума),  приведены  в восьмой 
главе  первой  книги. 

Проводя  рассуждения,  аналогичные  тем,  которые  пред- 
шествовали формуле  (5.96),  введем  некоррелированные 
координаты  фазы 


**=*(-?-)• 


(5.116) 


Так  как  из  некоррелированности  значений  фазы  нормаль- 
ного случайного  процесса  следует  их  независимость 
(см.  § 8.4.2  в первой  книге),  то  координаты  независимы. 
Ограничиваясь  первыми  N координатами,  запишем  функции 
правдоподобия  выборки  . . .,  для  двух  указанных 
гипотез  (см.  (8.59)  в первой  книге): 


йДѵ (Фі,  . . . , ®п\Н0)  = (~2~-)  Ѵ,  |Фі|<я,  (5.117) 


ІѴ 


гдѵ  ("б'і,  . . . , ^ | Я4)  = Д |-^-е  2 + 


г у=-  соз  — фй)  Р [Ой  СОЗ  (Ой  — фй)]  X 


х е“  -2-»іп*(*й-*й> 


= 1,  ....  Я,  (5Л18) 
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где  ак  определяется  по  формуле  (5.98),  а 

фь  = Ф«  ("Х~)  ' (5-1 19) 

Из  (5.117)  и (5.118)  находим  логарифм  отношения 
правдоподобия 

N _ 

Іп(д„  Одг)=  2 1п(е  2 +Ѵ2яаксо&(Ък  — Ч>к)Х 

к=  1 

а\ 

X Р [ак  с оз  (О*  - ф*)]  е"  Т (5. 1 20) 
І'&і  — фі|<л,  і=  1,  .. N. 

Правило  выбора  решения  может  быть  сформулировано  так: 
сигнал  присутствует,  если 
2 

N _ 

2 1п{е  2 ’ 4-  У~2п  ак  соз  (дй  — фь)  х 

й= 1 

а\ 

X Р [ап  соз  ('Ѳ'й  — фл)1  в 2 к *}>1пс,  (5.121) 

| ■в'г  — фі  | < л,  і=  1,  . . .,  N. 
Для  слабого  сигнала  (тахаь<€  1)  правило  (5.121)  зна- 
чительно упрощается.  Используя  формулу  (8.61)  первой 
книги,  находим  в первом  приближении 

N ^ 

Д 2 акС05(®к—$к)>\пс+-^-'2іаІ=Кк,  (5.122) 

&=і  ь=1 

| 'О;  — ф;  | < л,  і = 1 , . . . , N. 

Как  и в предыдущих  случаях,  при  Д Т > 1 сумму  в левой 
части  (5.122)  можно  приближенно  заменить  интегралом 

§ а(()  соз  [д  (0  — фя  (і)]<іі>  |/"  — Іи  с + ДдД  ' 

~Т  (5.122') 

Таким  образом,  основной  операцией  в оптимальной  про- 
цедуре обнаружения  слабого  детерминированного  сигнала 
фазовым  методом  является  вычисление  взаимной  корреля- 
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ции  между  косинусом  разности  фаз  принятого  и детерми- 
нированного сигналов  и огибающей  детерминированного 
сигнала  *). 

Как  и в амплитудном  методе,  определение  вероятностей 
ложных  тревог  и пропусков  сигнала  при  использовании 
алгоритма  обработки  (5.122)  сопряжено  с трудностью 
вычисления  функции  распределения  суммы  случайных 
величин  в левой  части  (5.122).  Однако  если  размер  выборки 
большой  (./V  1),  то  можно  воспользоваться  асимптотиче- 

ской нормальностью  указанной  суммы,  ограничившись 
при  этом  вычислением  среднего  и дисперсии  для  двух 
гипотез.  Получим  при  та х ак  <С  1 (см.  § 8.5.1  в первой 

к 

книге): 


ті  { | /-^  2 аь  соз  (0Л— ф„)|  #о}  = О, 

к=  I 1 

1 {]/  ак  со&(Пк- $ к)\нЛ  а*> 

к=1  к= 1 

, Л" 

М2  { V Т 2 ак  С05  (1<}й  — ФУ  | #о}  = 


Л=і 


(5.123) 

(5.123') 


г /—  я -ѵ 

=м2  [у  -у  2 с°5 ('б'ь — Ф/і) і // 1 Т =-^2 

*=і  й=і 


а|.  (5.123") 


Используя  обозначение  (5.115),  запишем  выражения  для 
вероятностей  ложных  тревог  и пропусков  сигнала  в виде 


а = 


1—Р 


2 1п  с 
У"  ^Л’ 


2 1п  с 


(5.124) 

(5.124') 


В отличие  от  оптимального  амплитудного  метода  [см. 
(5.109)  и (5. 109  )],  при  оптимальном  фазовом  методе,  как  и 
при  оптимальном  додетекторном  методе  обнаружения,  ве- 
роятности ложных  тревог  и пропусков  сигнала  определяют- 

) Как  показано  в [23],  оптимальное  устройство  при  обнару- 
жении фазовым  методом  представляет  идеальный  ограничитель, 
за  которым  следует  согласованный  фильтр. 
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ся  параметром  йх,  т.  е.  рабочая  характеристика  обнару- 
жения слабого  сигнала  при  фазовом  методе  оказывается 
лучше  *),  чем  при  амплитудном.  Нетрудно  обнаружить 
полную  аналогию  (5.124),  (5.124')  с (5.14),  (5.15),  причем 
первые  из  указанных  формул  получаются  из  вторых  заме- 
ной йх  на  ^ ^іѵ  (т.  е.  « 0,9  <іц). 

Если  воспользоваться  асимптотической  формулой  (8.63) 
в первой  книге,  то  для  сильного  сигнала  (тіп  ак  > 1)  пра- 

к 

вило  выбора  решения  [см.  (5.121)]  может  быть  записано 
в виде:  сигнал  присутствует,  если 

I V N і 

-^2  аі(®к  — Фа)2<2  ^п(Ѵ2пакс  * ) (5.125) 

А=1  А— 1 

или  приближенно  при  А Г > 1 
т 

-Щ-  5 а'(1)[й(1)-Ъ(Щ'си< 

-Т 

т 

^ 1п  2тс  ^ сІ(  — - 1п с.  (5.125') 

-г 

Таким  образом,  основными  элементами  оптимального 
приемного  устройства  при  фазовом  методе  обнаружения 
сильного  детерминированного  сигнала  является  фазовый 
детектор,  выделяющий  квадрат  разности  фаз  принятого 
и детерминированного  сигналов,  и коррелометр,  опреде- 
ляющий взаимную  корреляцию  выхода  фазового  детектора 
и квадрата  огибающей  сигнала. 

Рассмотрим  также  оптимальный  фазовый  метод  обнару- 
жения квазидетерминированного  сигнала  [см.  (5.30)]. 
В этом  случае  для  слабого  сигнала  (шах  ак  <С  1)  отноше- 

А 


*)  Этого  следовало  ожидать,  так  как  функция  распределения 
фазы  (5.118)  информативнее  функции  распределения  огибающей 
(5.97').  В первом  случае  параметры  распределения  содержат  инфор- 
мацию о значениях  огибающей  и фазы  сигнала,  а во  втором  — 
только  о значениях  огибающей  сигнала. 


363 


ние  правдоподобия  при  фиксированном  значении  фазы  ір0 
имеет  вид  [см.  (5.122)] 

/ (■&!,  . . тЭ-іѵ | фо)  = 

= ехр{  ѵ а,со5(дь-фь  + ф0)— 5.  V а||  (5.126) 

л=і  к= і ^ 

или 

/(^,,  . . I Фо)  = ехр  {|/-^ГлгС05(фо  — Ф*)}  X 


где 


х 


ехр{~іг2  а1}  ’ 


ь=і 


Тдг  — | 2 #Ье 

А=1 


(5.126') 


(5.127) 


ІШ  2 ак^^к 

Фдг  = агс(§ ~ . (5.127') 

Ке  2 ^е4**-**) 
к=  1 

Усредняя  отношение  правдоподобия  по  равномерно  рас- 
пределенной случайной  фазе  ф„,  получаем 

Л (■&!,  . . . , д*)  = ехр  | — ^ аІІХ 

к=1 

2я  

х гг  ^ ехр  { V т Гіѵ  С05  (фо  ~ ф]ѵ)  I = 

О 

— ^ 

= /°  (у  ТГіѴ)  ехР  {~  т 2 • (5.128) 

к=  1 

Из  (5.128)  следует  байесовское  правило  выбора  реше- 
ния: квазидетерминированный  сигнал  присутствует,  если 

Л—  ЛГ 

ІП/°(Ѵ/тг")  >1пс+т2  &=%* 

к=і 
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или  если 


Лѵ  > с\ѵ,  (5.128') 

где  с /у  — величина,  определяемая  из  трансцендентного  урав- 
нения 

1п/0(|/-5-с*)=К*.  (5.128") 

Вычисление  функции  распределения  статистики  [см. 
(5.127)]  можно  выполнить  в замкнутом  виде  для  гипотезы 
Я0,  т.  е.  когда  сигнала  нет.  В этом  случае,  используя  не- 
сколько видоизмененный  метод,  указанный  в [5,  гл.  4,  § 4] 
для  задачи  о случайных  блужданиях,  получим  следующее 
выражение  одномерной  функции  распределения  г к,  когда 
Фа  — независимые,  равномерно  распределенные  на  интер- 
вале (0,2л)  случайные  величины: 

ОО  N 

, щ (г)  = г ^ 5У0  (гз)  Д ^0  (акз)  <із. 

О . к=  1 

Отсюда  с учетом  (5.128')  следует,  что  вероятность  ложной 
тревоги  равна 

оо  оо  N 

а = ^ іЮі(г)  (1г  = \ — Сдг  ^ (с^з)  Д ]0(ак5)сіз.  (5.129) 

0 к=  1 

Для  синусоидального  сигнала  постоянной  амплитуды 

а--  1—  к \ ^^(кx)^^  (х)сіх,  (5.129') 

о 

где  к = . При  использовании  критерия  Неймана  — 

Пирсона  порог  к определяется  из  (5.129')  по  заданной 
вероятности  а ложных  тревог  и не  зависит  от  мощности 
сигнала. 

Если  размер  выборки  велик  (ІѴ  > 1 ),  то  распределение 
случайной  величины  гц  асимптотически  приближается  к ре- 
леевскому,  когда  верна  гипотеза  Н0,  и к обобщенному 
релеевскому,  когда  верна  гипотеза  (см.  [5,  стр.  187 — 188]). 
Параметры  этих  распределений  равны  соответственно  [см. 

(5. 123) -(5. 123")]  и ( ’ где  опре' 
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деляется  по  формуле  (5.115).  Тогда  вероятности  ложных 
тревог  и пропусков  сигнала  равны  [ср.  (5.52)  и (5.53)] 


СN 


а = е 


Р = е 


СІѴ  V 2 

П 2 йХ  ДГ2 


(5.130) 


- — й 


5 хе  х /о(  / йх-  (5.130') 


5.3.3.  Стохастический  сигнал.  Рассмотрим  теперь  опти- 
мальный амплитудный  метод  обнаружения  стохастического 
сигнала,  сохранив  предположения,  сделанные  в начале 
раздела  5.3.  Функции  правдоподобия  в этом  случае  имеют 
вид  [см.  (5.97)] 

ІР.ѵ  (г„  ....  г дт  | Н0)  = I]  гке~гь/2 , гк  > 0, 


/і= 1 

N 


гк 


...,гя\Н1)=  П 


Гк 


— е 


•(■4) 


й=1  1 


а2 


гк>  0,  к = 1 УѴ, 

где  Ос— дисперсия  сигнала. 

Отношение  правдоподобия  равно 

/(гь  ...,  Г*)=(і+-^)  х 

г а2 /а2  ^ 

Хехр  1271+^7^)2  - (5-131) 

к=\ 

Гк>  0,  к --  1,  . . .,  N. 

Правило  решения  формулируется  так:  сигнал  присут- 
ствует, если  сумма  квадратов  выборочных  значений  гк 
превышает  порог  [ср.  (5.86)  и (5.87)] 


N 

2 г\>у\ 

і 


(5.132) 


где  у та  же  константа,  что  и в (5.87),  вычисляемая 

по  формуле  (5.88)  при  очевидной  замене  ^ на 

/ѵ0  I о 1 
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Так  как  г\  — независимые  экспоненциально  распреде- 
ленные случайные  величины,  то,  используя  результат,  ука- 

N 

занный  в задаче  3.16  первой  книги,  находим,  что  2 гь 

к=  1 

имеет  Хгл'-распределение.  Если  учесть,  что  размер  выборки 
значений  огибающей  процесса  вдвое  меньше  размера 
выборки  самого  процесса  (см.  § 5.1),  то  отсюда  следует,  что 
формулы  (5.90)  и (5.91)  для  вероятностей  ложных  тревог 
и пропусков  сигнала  сохраняются  без  изменения  в случае 
оптимального  амплитудного  метода  обнаружения.  Таким 
образом,  оптимальные  процедуры  обнаружения  стохасти- 
ческого сигнала  до  и после  детектирования  совпадают. 
Этого  совпадения  следовало  ожидать.  Действительно,  в рас- 
сматриваемом случае  функции  правдоподобия  для  выборок 
фаз,  когда  сигнал  есть  и когда  его  нет,  не  отличаются  друг 
от  друга : 

ид  (ъ, . . . , Дѵ  | н0)  --  ид  (<>!, . . . , Дѵ  | до  = (4г) ѵ * 

так  как  одномерная  плотность  вероятности  фазы  стацио- 
нарного нормального  случайного  процесса  не  зависит 
от  энергетического  спектра  (дисперсии)  процесса  и всегда 

равна  , |Д|<я.  Отношение  правдоподобия  в этом 

случае  тождественно  равно  единице.  Отсюда  следует  также, 
что  в рассматриваемом  случае  по  независимым  выборкам 
фазы  невозможно  отличить  сумму  сигнала  и шума  от  чисто- 
го шума,  т.  е.  решить  задачу  обнаружения  стохастического 
сигнала. 

Для  осуществления  фазового  метода  обнаружения  сто- 
хастического сигнала  необходимо  иметь  независимые  вы- 
борки разности  фаз*)  А0і,  . . .,  АО^,  где  АО;  = 
= О (іі  Дт)  — 0 (Іі).  Используя  формулу  (8.82)  в первой 
книге,  находим  функцию  правдоподобия  выборки  разности 
фаз  для  шума: 

ИД  (А0!,  . . . , Д0*  I Яо)  = (-ддМ Ѵ Х 


N 


X П 


— Дагсзіп  ук 

(і  -у\)3,г 


(5.133) 


| Дд;4|<л,  к=  1,  . . А/, 

*)  Это  имеет  место,  например,  в задачах  разнесенного  приема. 
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где 


і 


У и = Я0  (4  С05  [д  (4  + г)  — Ф (4)1 ; 

(5.134) 

Ко  (т)  = Ясо  (т)  + Яао  (т); 

оо 

(5.134') 

Кео  (т)  = § Рш  (®)  с 05  (со  — со0)  т с/со; 

0 

(5.135) 

оо 

(т)  = ~2  ^ (м)  5ІП  (со  — со0)  т сісо; 

0 

(5.135') 

-энергетический  спектр  и дисперсия 

шума. 

ІМЛОі.  •••-  А^|Я1)=(Ц^)ІѴХ 


лг 

X П 

к=  1 


2~  +ЗГС5ІП  2Л 

(1-4) 3/2 


-2й 


(5.136) 


к У1-‘Ѵ 

| АО;,  | < л,  к = 1 , . . . , Ы, 
где  1 68 

гк  = Яі  (т)  соз  [ф  {ік  + т)  - О (4)] ; (5.1 37) 

/??  (т)  = /?“і  (т)  + 7?^  (х);  (5.137') 

оо 

і(т)  = р2  ^ [^сМ  + ^шМ]  соз(со  — со0)тЛо;  (5.138) 
0 ■ о 

оо 

#«і  (т)=  о2;о,-  § [/гс(ю)  + /7ш(м)]5іп((0  — (О0)тс?со;  (5.138') 
0 1 о 

(®).  с2  — энергетический  спектр  и дисперсия  сигнала. 
Отношение  правдоподобия  равно 


N 

хП 

к=  1 


1(Ми  ...,  А^)=([5|)ІѴХ 

1 ' 

1 —г/2  !+г*  (-у+  агсзіпгй'і  (1—  г|)  2 

Г 

1 + г/й  (-у  + агсзіпг/Л  (1  — г/2)  2 


-0Й 
1-г? 


(5.139) 


| АгЭ'г  | < я,  і — 1 , . . . , N. 
Исследование  общего  случая  представляется  весьма 
трудным.  Ограничимся  случаем,  когда  выборки  шума 
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О (4  + т)  и д (4)  не  коррелированъ^  т.  е.  когда  Яо  = О 
[см.  (8.81)  в первой  книге]  и когда  сТс'С  а2  (слабый  сиг- 
нал). Тогда,  обозначая 

ЯЧт)  = Я1(  т)  + /42(т),  (5.140) 

где 

Яс  (т)  = -4-  ^ Тс  (СО)  С05  (СО  — (О0)  Т (1(0,  (5.141) 

а°  і 

оо 

/?.(т)  = -~г  \ Тс(со)5Іп(со~со0)тсісо,  (5. 14 Г) 

с о 

и пользуясь  малостью  величины  , получаем 

Яі(т)=-^/?(т).  (5-142) 

Полагая  в (5. 139)  Я о = 0,  получаем  с учетом  (5. 142) 

1п  / (АіЭ'1 Л^)^(^)2  ^ соз  ДО* - 


А~  (^-)\  |0«|<я,  і=  1,  ...,Я.  (5.143) 

Правило  решения  может  быть  теперь  сформулировано  сле- 
дующим образом:  сигнал  присутствует,  если 

2 с°5А^>^(-^)2|пС  + ^-(^)2.  (5.144) 

к=  1 

Оптимальная  процедура  обнаружения  состоит  в сравнении 
выхода  интегратора  (сумматора)  косинусов  разности  фаз 
с заранее  установленным  порогом. 

Если  объем  выборки  большой  (Я  > 1),  то  распределе- 
ние суммы  независимых  случайных  величин  соз  А#*  близко 
к нормальному  со  средними  и дисперсией,  равными 
(см.  § 8.4.4  в первой  книге) 

N 

т{  { 2 соз  А'Ѳ'й  | Я0)  = 0,  (5.145) 

/г=і 


й=1 


т , 


{2  соз  А <4  ІЯ,}  = (^)2,  (5.145') 


к—  і 


N 


N 


Л4о  созАт4|Я0}  = М2  {2  соз АФ* | Я, } =-^-.  (5.146) 

А=1  к= 1 

24-197 
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Вероятности  ложных  тревог  и пропусков  сигнала  при 
этом  равны  *) 


Р=^[ 


лК  ~[/ N 
1/2  1п  с 
лР  ~/ N 


(і) тѵ»] . 


(5.147) 

(5.148) 


5.4.  РАЗЛИЧЕНИЕ  СИГНАЛОВ 

5.4.1.  Вводные  замечания.  До  сих  пор  рассматривалась 
задача  обнаружения  сигнала  по  некоторой  реализации 
процесса  на  входе  приемного  устройства,  который  мог  быть 
только  шумом  или  суммой  сигнала  и шума.  Наряду  с этой 
задачей  во  многих  приложениях  возникают  задачи  более 
сложные.  Например,  наблюдаемый  процесс  х (і)  может  быть 
суммой  шума  и сигнала  одного  из  заданной  совокупности 
сигналов  5о  ((),  . . .,  8т  (0,  и необходимо  по  принятой 
реализации  на  интервале  (—  Т,  Т)  процесса  х (!)  принять 
решение,  какой  из  указанных  сигналов  в действительности 
присутствует  в наблюдаемом  процессе. 

Аналогичная  задача  различения  сигналов  возникает  в тех- 
нике связи  при  построении  устройств  декодирования  сооб- 
щений. В других  случаях  приходится  выяснять,  пред- 
ставляет ли  наблюдаемый  процесс  только  шум  или  его 
аддитивную  смесь  с одним  или  несколькими  сигналами 
из  заданной  совокупности  сигналов.  Подобные  задачи 
в радиолокации  иногда  называют  задачами  разрешения 
сигналов.  Указанные  задачи  в общей  постановке  относятся 
к классу  многоальтернативных  задач  выбора  решения 
(см.  § 1.4.9).  Ниже  будут  рассмотрены  несколько  сравни- 
тельно простых  задач  этого  класса,  решение  которых, 
однако,  имеет  самостоятельное  значение  в ряде  практиче- 
ских ситуаций. 


*)  Ср.  (5.147)  и (5.148)  с (6)  и (6')  в задаче  (5.5).  Если  учесть, 
что  общий  размер  выборки  в рассматриваемом  случае  равен  2 Л', 
то  можно  прийти  к заключению,  что  рабочая  характеристика  обна- 
ружения стохастического  сигнала  при  указанных  ограничениях 
приближается  к рабочей  характеристике  обнаружения  детермини- 
рованного сигнала  амплитудным  методом  с параметром  характе- 

л Я ( а,\ 

ристики,  в раз  меньшим  I при  а = —1  . 
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5.4.2.  Два  детерминированных  сигнала  *).  Пусть  известно, 
что  наблюдаемый  процесс  представляет  аддитивную  смесь 
нормального  стационарного  шума  и одного  из  двух  детер- 
минированных сигналов,  $о  (0  или  54  (/).  Задача  состоит 
в проверке  простой  гипотезы  (Я0),  что  наблюдаемый  про- 
цесс нормальный  со  средним  50  ((),  против  простой  альтер- 
нативы (Я і),  что  этот  процесс  также  нормальный,  но 
со  средним,  равным  54  (і). 

Выберем  в соответствии  с § 3.4  в качестве  наблюдаемых 
некоррелированные  координаты 


хк^Ѵхк  ^ х (/)  ср,;  ())  Л,  (5.149) 

-т 

где  х ())  — реализация  принятого  процесса  на  интервале 
наблюдения  ( — Т,  Т),  а %к  и срд  (/)  — собственные  числа 
и собственные  функции  интегрального  уравнения 

т 


<р  {()  = К ^ В (у  — I)  ф (у)  сіу,  (5.150) 


-т 

где  В (т)  — известная  корреляционная  функция  шума. 

Ограничиваясь  первыми  N координатами  и учитывая 
(3.62),  запишем  логарифм  отношения  правдоподобия  для 
выборки  хь  . . . , х,у  размером  N в виде 

N N 


1п/(х„  • • .,  хЛ-)  = 4~  2 (ак  — Ьі)+  2 фк  — ак)хк,  (5.151) 


к=  1 


/і=1 


где 

т 

ак=  УЪк  ^ 50(/)ф к(і)сіІ]  (5.152) 

-т 

т 

Ьк^ѴК  \ МОф к(()сК.  (5.152') 

<*) 

- т 

Правило  выбора  решения  может  быть  теперь  сформули- 
ровано следующим  образом:  присутствует  сигнал  ((),  если 
для  наблюдаемой  выборки 

N N 

2 {Ьк  — ак)хк>  ІПС  + -Г  2 ( Ь\-а% ),  (5.153) 

ь=і  ь=і 


*)  Этот  раздел  можно  рассматривать  как  обобщение  §.  5.2.1, 
результаты  которого  получаются  как  частный  случай  при  з0  (0  = 0 
и (/)  = 5 ((). 
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и решение  о присутствии  сигнала  50  ((),  если  выполняется 
неравенство,  обратное  (5.153). 

Таким  образом,  алгоритм  различения  сводится  к вычис- 
лению взвешенной  суммы  наблюдаемых  координат  и срав- 
нению ее  с заранее  установленным  порогом 

N 

Кіѵ  = 1пс  + і-2  (Ьі-аі).  (5.154) 

А=1 

Этот  алгоритм  оптимален  по  любому  из  рассмотренных 
в первой  главе  критериев  качества  (непоследовательных). 
Выбор  критерия  отражается  лишь  на  величине  с. 

Повторяя  рассуждения,  приведенные  в § 5.2.1,  находим 
условные  вероятности  ошибок  первого  и второго  рода 
(вероятности  перепутывания  сигналов): 


“-’-'гёг+Т*-)- 

(5.155) 

(5.156) 

N 

2 {Ьк  — аку. 

к=  1 

(5.157) 

Если  результаты  наблюдении  не  дискретизируются, 
а используется  вся  реализация  х (і)  на  интервале  наблюде- 
ния, то  правило  выбора  решения  формулируется  следую- 
щим образом  [см.  (3.81)]:  присутствует  сигнал  (/),  если 

т Т 

^ Ѵ(/)х(()сИ>\пс  + ~ С Ѵ(0М0  + М0ІЛ  = /Ст, 

-т  _т 

(5.158) 

и принимается  решение  о том,  что  присутствует  сигнал 
5о  (0.  если  выполняется  неравенство,  обратное  (5.158). 
Функция  Ѵ{1)  представляет  решение  неоднородного  линей- 
ного интегрального  уравнения 

т 

5 в(<-и)Ѵ(и)сіи  = зі(()~80(().  (5.159) 
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Вероятности  перепутывания  сигналов  определяются  по  фор- 
мулам (5.155)  и (5.156),  если  в них  заменить  величиной 
> определяемой  из  соотношения  [см.  (3.87)  и (3.88)] 
т 

Лт=  § Ѵ(0[5і(0-5о(0]  сП.  (5.160) 

-т 

При  различении  сигналов  на  фоне  аддитивного  белого 
шума  решение  интегрального  уравнения  (5.159)  имеет  вид 

У (0  = -Щ  І51  (0  — $0  (/)] . (5.161) 

где  іѴ0  — спектральная  плотность  шума.  В этом  случае 
неравенство  (5.158)  может  быть  переписано  в виде 
т 

$ МО— *о(0]*(0<Й>ЛГ01пс+ 

-т 

т 

+ 4"  5 ^(0-вІ(0]Л  = ^Ѵ01пс  + ^=^2,  (5.162) 

-Г 

где  и Е0  — энергии  сигналов  5!  (()  и 50  (()  на  интервале 
наблюдения. 

Неравенство  (5.162)  может  быть  путем  элементарных 
алгебраических  преобразований  приведено  к виду 
г т 

^ МО  — *(0]2Л—  ^ [Зі(()-х(1)]2сіі>Мо\пс.  (5.162') 

-Т  _ Т 

Интегралы  в (5.162')  могут  быть  названы  соответственно 
расстояниями  наблюдаемой  реализации  х (і)  до  сигналов 
50  (/)  и 5і  ( і ).  Правило  выбора  решения  предписывает  вычис- 
ление разности  этих  расстояний  и сравнение  ее  с порогом, 
зависящим  от  критерия  и спектральной  плотности  белого 
шума.  Для  критерия  максимального  правдоподобия  (с  = 1) 
принимается  решение  о наличии  того  из  двух  сигналов, 
который  ближе  к наблюдаемой  реализации.  Это  — прави- 
ло, согласно  которому  строится  так  называемый  идеальный 
(по  Котельникову)  приемник.  Рабочая  характеристика 
такого  приемника  определяется  величиной  [см.  (5.160)] 

т 

<ъ=-щ  $ мо -мор л,  (5.163) 
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т.  е.  отношением  расстояния  между  сигналами  к спек- 
тральной плотности  шума.  Если  найдена  величина  йт 
из  (5.163),  то  для  расчетов  могут  быть  использованы  кри- 
вые, приведенные  на  рис.  25  [см.  (5.155)  и (5.156)]. 

Заметим,  что  для  ортогональных  сигналов,  для  которых 
т 

§ 8і(()з0(і)сИ  = О, 

-т 

величина  й\  равна  — , т.  е.  отношению  суммарной 
энергии  сигналов  к спектральной  плотности  шума  ^при 

Е\  = Е2  = Е в этом  случае  йт  = -тг- ) . Максимально  воз- 

можное  значение  йт,  равное  4 ЕШ0,  реализуется  при 
5,(0=  — 50(0- 

Из  (5.162)  следует,  что  оптимальный  приемник  для  раз- 
личения двух  детерминированных  сигналов  на  фоне  адди- 
тивного нормального  белого  шума  состоит  из  двух  согласо- 
ванных фильтров  (или  коррелометров,  см.  §4.3.4)  с импульс- 
ными переходными  функциями 

/г0*(т)  = 50(Г-т),  | т | < Г,  (5.164) 

/гГ(т)  = 5і(Г-т),  | т | < Т,  (5.164') 

и следующими  за  ними  устройствами  стробирования,  вычи- 
тания и отсечки.  Для  сигналов,  обладающих  одинаковой 
энергией  (Е{  = Е2),  при  использовании  критерия  макси- 
мального правдоподобия  последние  два  устройства  заме- 
няются устройством  сравнения,  так  как  в этом  случае 
правило  (5.162)  преобразуется  к виду:  присутствует  сиг- 
нал 5,  (/),  если 

т т 

§ 5 ,(0-ѵ(0Л>  § 80(і)х{і)сК.  (5.165) 

— Т -Т 

5.4.3.  Два  сигнала  с неизвестными  амплитудами.  Пред- 
положим теперь,  что  сигналы  известны  лишь  с точностью 
до  амплитудного  множителя  А.  Задача  различения  сигна- 
лов состоит  теперь  в проверке  сложной  гипотезы  ( Н0 ),  что 
наблюдаемый  процесс  нормальный  со  средним  Л50  (/), 
против  сложной  альтернативы  (Я,),  что  среднее  значение 
этого  нормального  процесса  равно  Лх,  (/). 
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Пусть  нет  никакой  априорной  информации  о пара- 
метре А.  Используя  результаты,  приведенные  в § 3.5.3, 
нетрудно  убедиться,  что  логарифм  функционала  отношения 
правдоподобия  может  быть  записан  в виде 

т 

1п /[*(*)] -Л  ^ Ѵ(()х{1)сі(- 
-т 


т 

Ѵ(()  М0  + 8|(0]Л.  (5.166) 

-Т 


где  V (/)  — решение  интегрального  уравнения  (5.159). 

Следовательно,  при  А > 0 существует  следующее  рав- 
номерно наиболее  мощное  правило:  отвергается  гипотеза 
И о,  т.  е.  утверждается,  что  присутствует  сигнал  Аз^  (/), 
если  для  наблюдаемой  реализации  л;  (/) 

т 

^ Ѵ{і)х(1)Ш>Кт.  (5.167) 

-т 


Порог  Кт  определяется  заданной  вероятностью  а ошибки 
первого  рода: 


Кт 


СІтХа, 


(5.167') 


где  ха  — процентная  точка  нормального  распределения, 
а сіт  находится  из  (5.160). 

Если  А < 0,  то  знак  неравенства  в (5.167)  изменяется, 
а величина  Кт  заменяется  на  —Кт- 

Равномерно  наиболее  мощное  несмещенное  правило  пред- 
писывает отвергнуть  гипотезу  Н0,  если 


$ Ѵ(і)х{і)йі\>Кт 

-т 


(5.168) 


Таким  образом,  оптимальное  (по  критерию  Неймана  — 
Пирсона)  устройство  различения  двух  сигналов  с неиз- 
вестными амплитудами  на  фоне  аддитивного  нормального 
шума  в основном  такое  же,  как  и при  полностью  извест- 
ных сигналах. 

В частности,  при  50  (()  = 0 из  (5.167)  следует,  что 
оптимальное  правило  обнаружения  детерминированного 
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сигнала  Аз  (і)  с неизвестной  амплитудой  А сводится 

к сравнению  величины  ^ V (і)  х {()  сН  с порогом,  причем 

— т 

V (і)  определяется  из  уравнения  (5.22)  (в  которое  пере- 
ходит (5 . 1 о9)  при  5)  (I)  = з (і)  и 5о  (()  = 0).  А это  и пред- 
писывается правилом  выбора  решения  (5.21)  при  обнару- 
жении детерминированного  сигнала  5 (().  Вероятностные 
характеристики  обнаружения  будут,  конечно,  зависеть 
от  величины  А,  так  как  параметр  йт  [см.  (5.23)]  в этом 
случае  будет  равен 

т 

А2  ^ V (()з  (/)  іі. 

-т 

Другой  критерий,  не  связанный  с априорной  информа- 
цией о неизвестном  параметре,  — критерий  максимального 
правдоподобия  (см.  § 1.4.3).  Как  следует  из  (1.116),  в этом 
случае  необходимо  найти  сначала  максимумы  функций 
правдоподобия  при  двух  гипотезах  и сравнить  их  отноше- 
ние с единицей.  Выбирая  в качестве  наблюдаемых  коорди- 
нат величины  хк,  определяемые  согласно  (5.149),  и сохра- 
няя обозначения  (5.152),  (5.152'),  запишем  функции  прав- 
доподобия выборки  хи  . . .,  лгдг  при  двух  гипотезах *  *): 


(хи  . > . , я*  | Н0)  = ехр  [-  ^2  (** - Аак )*]  , 

к=-  Г 

(5.169) 

лД.ѵ,,  ....  Хх  | Ні)—  ^рѵ/2ехр[ — <г(*а  — Д6а)2]  . (5.169') 


Учитывая,  что  максимумы  функции  / (А)  и 1п  / (А)  дости- 
гаются при  одном  и том  же  значении  А,  нетрудно  показать, 
что  максимум  функции  (5.169)  достигается  при 


: 


N 

У ®кХк 

Ь=  1 
N 

к= 1 


(5.170) 


*)  Напомним,  в § 5.2.1  было  показано,  что  М2  (т; } = 1. 
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а функции  (5.169')  — при 


Л 


N 

X Ькхк 


к = 1 


N 

2*1 

к-  1 


(5.170') 


Подставляя  вместо  А в (5.169)  величину  А0,  а в (5. 1 69')  — 
величину  Аи  получим 


шал  \ѵ  н . . . , I п \) 

1п  -А 

шах  ІГдг  (хи  . хп\  Н0) ' 

А 


где 


2Фѵі 


(2  »•**)' 


к=  1 


9Л2 

/а/Ѵ0 


ІѴ 

(2°***)**  (5.171) 

*=1 


,2 

«Л'О 


2 «2; 

Ь=1 

4.=  2 б,2. 

к=1 


(5.172) 

(5.172') 


Правило  выбора  решения  по  критерию  максимального 
правдоподобия  может  быть  сформулировано  так:  присут- 
ствует сигнал  А$і  ((),  если 


N IV 

(2  ^к-Хк\  ^ ~2  (2  ®кХк\  . (5.173) 

\=і  ' 4о  ' 

и сигнал  Л50(^),  если  выполняется  неравенство,  противо- 
положное (5.173). 

В том  случае,  когда  энергии  сигналов  совпадают 
(Йло  = ^іѵ і),  правило  (5.173)  переходит  в (5.153)  при  с—  1. 

Используя  результаты  § 3.4.4,  нетрудно  правило  (5.173) 
переписать  в аналоговой  форме: 

Т Т 

-тМ  § ѵЛі)х{і)йі)\-~(  5 Ѵ0(()х(()йЛ\  (5.174) 

Т 1 _ т1  иТ0  __у 
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где 


т 


Лті  -----  ^ Е1())51(0Л; 

-г 

(5.175) 

т 

Лто  = ^ V о (()  50  (/)  сП , 

_ т 

(5.175') 

а V і(і)  и Ѵо  (/)  решения  интегральных  уравнений 
т 

$ В((-и)Ѵі(и)сіи  = 81((),  |/|<Г, 

-т 

(5.176) 

т 

^В((-и)У0(()йи  = 80((),  |/|<7\ 

(5.176') 

-т 


Оптимальный  приемник  состоит  из  двух  согласованных 
фильтров  с импульсными  переходными  функциями 

П*о^  = ^-уо(Т-т),  | т | < Т,  (5.177) 

Н*ЛА  = ^Ѵі(Т~т),  | т | < Г,  (5.177') 


и следующими  за  ними  устройствами  стробирования,  воз- 
ведения в квадрат  и сравнения. 

При  различении  сигналов  на  фоне  аддитивного  белого 
шума  решения  интегральных  уравнений  (5.177)  (5  177') 

имеют  вид  ’ 

П(0=^5о(0,  Ѵі  (()  = ~8і  ((), 


и из  (5.174)  следует  правило:  присутствует  сигнал  Л$,  (I) 
если  1 4 ' 


_1_ 

Е, 


( х(()си)2>± 


Т 

( § 80 у) х (() аА2 , 

-Т 


(5.178) 


где  Е о и Е,  — энергии  сигналов  50  (I)  и 5і  (/)  на  интер- 
вале наблюдения.  При  Е0  = неравенство  (5.178)  совпа- 
дает, конечно,  с (5.165). 

Если  задано  априорное  распределение  (А)  параметра 
Л,  то  может  быть  использован  байесовский  критерий  мини- 
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мального  среднего  риска.  В этом  случае  в соответствии 
с § 1.4.2  вычисляется  отношение  усредненных  функций 
правдоподобия  [см.  (5.169)  и (5.169')] 

ОО  іѴ 

^ (А)  ехр  (хк  — АЬк)*^с1А 


§ ^,(Д)ехрГ — у 2 іхк  — Аак)^(ІА 

— оо  к= 1 

(5.179) 

и в зависимости  от  того,  превышает  или  нет  эта  величина 
порог  с (определяемый  априорными  вероятностями  появ- 
ления сигналов  и платами  за  решения),  принимается 
решение  о присутствии  сигнала  Азі  (/)  или  Л«0  (()■ 

В качестве  примера  рассмотрим  случай,  когда  априор- 
ное распределение  амплитуды  А нормальное  со  средним  А0 
и дисперсией  о\,  т.  е. 

Щ(А)- (5Л80) 

Подставляя  (5.180)  в (5.179)  и вычисляя  интегралы  в числи- 
теле и знаменателе,  получаем 


X 


1п  А (ду,  . , 

■ • , Л'л  ) — -у 

/ ^N0 

4і 

V \ -\-п2  сі2 

1 °ла,?ѵо 

н-0і4і 

ак  > 

ал  Г 

) -и  + 2 [- 

і ( 

і+0і4о  V 

1 . 1 + °А* 


9.  ,2  А2 

'N1  , л0 


‘ + 44  о 


к=  1 


X 


Ьк 


■чѵі 


к=  1 


(2  акХк ) ] , (5.181) 


к=  1 


где  о и с&! і определяются  согласно  (5.172)  и (5.172'). 
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Байесовское  правило  выбора  решения  формулируется 
так:  присутствует  сигнал  Азу(1),  если 

N 

ьъ  а-к  \ . 

+ ста4і  1+о^,п)Хк 


где 


Л2  (т 

Л=1  1 ~А“ЛГ1  1“Г'иАиІѴ0 

+ ~2~[1+02^-  (2  ЬкХк) 

N 


к=  1 


1 + 44(1 

[2^  акхк] 

к=  1 

^ + Кх, 

/(/у  = Іпс  -I — — ( 

4і 

•2 

“/Ѵ0 

1 2 1 ] 

+44 1 

1 +ста4о 

(5.182) 


+ 


_1_  1 1„  '+СТа4о 

~Г  2 1-;-о242 


(5.182') 

+ алйй  1 

іот^^  ФУНКЦИЯ  (Л)— » 6 (Л  — Л0),  и неравен- 

ство (5.182)  преобразуется  к виду 

N 

Ло  2 Фк  ак)  хк  > ІП  С -) 2~  (4і — 4с),  (5.183) 

Й=1 


и,  следовательно,  правило  выбора  решения  совпадает 
с байесовским  правилом  различения  полностью  известных 
сигналов  (с  очевидным  условием  Л0  = 1) 

При  стл  °о  ИЗ  (5.182)  находим 

> 1пс  + і-1п^р- . (5.184) 

“/VI 

Основные  операции,  выполняемые  над  наблюдаемыми  коор- 
динатами, в этом  случае  такие  же,  как  и при  использова- 
нии критерия  максимального  правдоподобия  [см.  (5.173)]. 
Отличие  состоит  лишь  в том,  что  вместо  простого  сравне- 
ния выходов  квадрирующих  устройств  их  разности  срав- 
ниваются с некоторым  заранее  фиксированным  порогом. 
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Для  сигналов  равной  энергии  с?Л т0  = сІКІ  формулы 
(5.182)  — (5.184)  значительно  упрощаются  и могут  быть 
переписаны  в виде 

N 2 N 

А0  2 (4  — аь)  хь  + дг  2 (4  — а *)  4 > ( 1 + <4)  ІП  с, 

й=1  /г=1 

/V 

Л0  2 (4  — ак)хк>  Іпс  при  стА  — > 0, 

Й=1 

N 

2 ф\  — 4)  4 > 2 1п  с при  стА  — > оо . 

к=1 

Заметим,  что  квазидетерминированный  процесс  Аз  (/) 
со  случайной  амплитудой  А используется  часто  в приложе- 
ниях в качестве  модели  сигнала  с мультипликативной 
помехой  (стационарной),  медленно  изменяющейся  за  пе- 
риод наблюдения  (или  на  интервале,  равном  длительности 
импульсного  сигнала). 

5.4.4.  Два  узкополосных  сигнала  со  случайными  фазами*). 

Рассмотрим  задачу  различения  на  фоне  аддитивного  нор- 
мального шума  двух  квазидетерминированных  узкополос- 
ных сигналов  с заданными  законами  амплитудной  и фазо- 
вой модуляции  и со  случайными  равномерно  распределен- 
ными и независимыми  начальными  фазами 

50  {()  = О0  (І)  С05  [С00/  — ф80  (()  + фо] , (5.1 85) 

•$!  (/)  = аі  (()  со5  [со4/  — г|і8І  (0  + ФіЬ  (5.185') 

Предположим,  что 

0<Л=^2«ш0, 

и выберем  при  представлении  узкополосных  процессов 
через  огибающую  и фазу  в качестве  центральной  частоту 

* (00 --{-(ІЬ 

со*  - — ^ — - . 

Выполняя  все  рассуждения  в той  же  последовательно- 
сти, что  и в § 5.2.2,  нетрудно  получить  в рассматриваемом 
случае  следующее  выражение  логарифма  отношения  усред- 


*)  Результаты  § 5.2.2  являются  частным  случаем  при  50  (I)  = 
= 0,  5]  ( I ) = 5 (()  приводимых  здесь  результатов. 
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ненных  функций  правдоподобия  от  N некоррелированных 
координат  комплексной  огибающей  [см.  (5.42)]: 

Л’ 

Л ... , г.ѵ)  = ехр  | — ( 1 5*і  Іг  — 1 5*о  Г2] } X 

к=  1 
2л 

$ ехр  [Лдт4  С05  (ф4  — ТрЛг1)] 

хЧЬ ’ (5-186) 

)■  ехр  [/"дго  С05  (фо — ■фл'о)]  Йфо 

о 


где 


N 


Гл-1  = 


к=1 


г N о : 


^ 1 2/і$к0 


к=  1 


N 

Іш  ѵ гй8А1 

фл-і  = агсі§  — 

Ке  У]  гк8кі 
к=*  1 
N 

ІШ  ^ гк8к0 

фл-о  = агс!§  — 

Ке  V гкзк0 

к==  1 


(5.187) 


(5.187') 


Величины  8к0  и 5Аі  представляют  координаты  комплекс- 
ных огибающих  сигналов  [см.  (5.39'")],  определяемые 
по  формулам 

т 

8к0  = У Кк  ^ 250(Ое-і,дф к{()(1(,  (5.188) 

-т 

г 

$кі  = Ѵ К § г8І(/)еі,дфА(/)Л,  (5.188') 

-т 


где 

2*о  (()  = а0  (/)  е-**>о(0;  г$і  (()  = а,  (()  е~^1('>. 


Выполняя  в (5.186)  интегрирование  и логарифмируя, 
получаем 

1п  А (г4,  . . . , 2дг)  = 1п  /0  (гт)  — 1п  /0  (г.ѵо)  — 

ІѴ 

— 4-2  [|«аіі2-|«ло|2],  (5.189) 

к=1 

где  / о (г)  — бесселева  функция  нулевого  порядка  от  мни- 
мого аргумента. 
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Из  (5.189)  следует  байесовское  правило  выбора  реше- 
ния: присутствует  сигнал  5,  (/)  (решение  у,),  если  для 
наблюдаемой  выборки 


ІП  /о  (Глгі)  — ІП  /0  (г /ѵо)  ^ 1п  с -\- 

N 

+ ~о~  /*І  1 | 5*1  |"  | 5к0  |2]  = Кх, 


(5.190) 


й=1 


и сигнал  5о  (0  (решение  у0),  если  выполняется  неравен- 
ство, обратное  (5.190). 

Если  различение  проводится  не  по  дискретной  выборке, 
а по  реализации  г ( I ) комплексной  огибающей,  наблюдае- 
мой на  интервале  (—  Т,  Т ),  то  из  (5.190)  при  N оо  нахо- 
дим [см.  (5.62)] 

А 2 _Л 
ит\ 

Ктч  (5.191) 

где 

т 


1п  /0  (гТі)  - ІП  /0  (гто)  > ІП  с + -Т1  0 го 


гті  — I ^ (I)  г (і)  Лі  , 

-т 

4ч  = 5 і/і  (0М0е-“дЛ, 

§ У о (()  г(()й( 


-т 


г то : 


-т 


(5.192) 
(5.192') 

(5.193) 


сіто 


I 


и О (г)  г80  (0  еі(ДЛ 


(5.193') 


а ІІ х (()  и II 0 (()  — решения  неоднородных  линейных  инте- 
гральных уравнений 
г 

5 Вг((-и)и1(и)сІи--г$1(і)У>ь,  |/|<7,  (5.194) 

-т 
т 

5 Вг(і-и)  У0  (и)  сІи  = га0  |/|<7\  (5.194') 

-г 


где  г51  (/)  и 2з0(/)  — комплексные  огибающие  сигналов  8і(() 
и 50  (і) , а Вх( т),  как  и в (5.35'),  — корреляционная  функ- 
ция комплексной  огибающей  шума. 

Случайные  величины  гт1,  гт0  в неравенстве  (5.191)  под- 
чиняются обобщенному  релеевскому  закону,  так  как  пред- 
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етавляют  модуль  плоского  вектора,  компоненты  которого 
независимы  и распределены  нормально.  Средние  и диспер- 
сии этих  векторов  (комплексных  случайных  величин)  рав- 
ны с учетом  (5.194),  (5.194'): 


ти>  = Щ | ^ 1/±  (/)  2 (і)  йі  | Н0 1 = 
-т 

Т т 

= ^ ^ Вг  (/  — и)  (/)  (У0  (и)  сМ  сіи, 
-т  - т 

т 

тп=^пг і | ^ 6/4  (/)  г (О  Л | //і  | = 
-т 

т т | 

= ^ ^ Вг  (і  — и)  (і)  ІІ{  (и)  йХ  сіи, 
-т  -т 

т 

пг00  = ті  | ^ ІГ0(і)г(і)(1і  | Я0|  = 

-Т 

т т 

= ^ ^ Вг(і  — и)ІІ0(1)і/0(и)  сіісіи, 
-т  -т 

т 

Щ\  = гпі  | ^ 1]0{і)г(і)(іі\Н^  = 
-т 

т т 

= ^ ^ В2  ({  — и)  II о (/)  II і (и)  (11  сіи, 


-т  —т 


М2І  = М2  { ^ Н^)г{1)си\Н0,  Я4} 
-т 


г т 


(5.195) 


(5. 195') 


(5.195") 


(5.196) 


= § ^ Вг{і-и)Ѵі  (1)0,(1)111  сіи.  (5.196') 

-Г  -Т 

т 

М20  = М2  { ^ Ц0(і)Щ(іі\Н0,  я,}  = 

-Т 

т т 

= § I ВЛ<  ~ и)  Но  (()  Щи)  сіі  сіи . (5.1 96") 


-т  -т 
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В качестве  простейшей  иллюстрации  рассмотрим  слу- 
чай различения  на  фоне  аддитивного  белого  шума  сигна- 
лов при  частотной  манипуляции,  когда  а,  (()  - а0  (()  = Л0, 
■ф*і  (0  = Ф«о  (0  = 0,  и примем  критерий  максимального 
правдоподобия  (с  = 1).  Правило  (5.191)  выбора  реше- 
ния теперь  упрощается:  присутствует  сигнал  з,  (/)  = 
= Л0  соз  (со,/  - 1 ф,),  если 

1п/0(гГ1)>1п/о(/-то),  (5.197) 

и сигнал  5о  (/)  = Л о соз  (ы0/  -(-  ср0),  если  выполняется 
обратное  неравенство.  Так  как  логарифм  модифицирован- 
ной бесселевой  функции  1п/0(г)  — монотонная  функция 
аргумента  г,  то  правило  (5.197)  сводится  к выяснению, 
которая  из  величин  гт1  или  гт0  больше.  Таким  образом, 
считаем,  что  присутствует  сигнал  5,  (/),  если 


гТі>гГ0.  (5.197') 

Выпишем  явное  выражение  величин  в (5.197'),  используя 
то  обстоятельство,  что  в рассматриваемом  случае 

(0  = (0  ==  Лд 


и что  для  белого  шума  со  спектральной  плотностью  Ы0 
решения  уравнений  (5.194)  и (5.194')  имеют  вид 


СМ0  = ^е-м,  С/,( 

Из  (5.197),  (5.192)  и (5.193)  получаем  следующее  правило 
различения:  присутствует  сигнал  частоты  со,,  если 


г(()е 


01  — СОо 


(II 


-т 


> 


г (()  е" 


-00 


(5.198) 


Выражая  комплексную  огибающую  через  квадратурные 
составляющие  [см.  (5.32  )],  можно  (5.198)  переписать  в виде 
т т 

5 л (/)  СОЗ  Ю1~Ю°  Ыі  ^ с (/)  ЗІП  _МІ~Ю0  Ш> 

-т  - т 

Т т 

> ^ Л (/)  зіп  — ■ ~<1)°  ЫІ  \ С (/)  соз  — ~ ю°  Ш.  (5.198') 

-Т 


Если  учесть,  что  Л(/)  и С(і)  — медленно  меняющиеся 
функции  (см.  § 6.2.2  в первой  книге),  и пренебречь  интег- 
ралами от  произведения  этих  функций  на  высокочастотное 


25-197 
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заполнение  вида  соз  а>і  (при  (о>со0).  то  правило  (5.198') 
можно  выразить  через  реализацию  принимаемого  процесса 


X (і)  = А {()  соз  ■(0°Н2Ш|  ( + С{ і)  зіп  ы°^(°1  і. 


Принимается  решение,  что  присутствует  сигнал  частоты 
сйь  если  для  наблюдаемой  на  интервале  ( — Т,  Т)  реали- 
зации х (і) 

т ^ т 

( ^ х (і)  соз  и,/  ^ х (/)  зіп  оц/  Л | > 

— т - т 


т т 

^ х(і)со$ы0і  іі  | ^ х (і)  5іпщі  йіу . (5.199) 

- г -т 


Оптимальный  приемник  для  различения  двух  гармо- 
нических сигналов,  соответствующий  правилу  (5.199),  со- 
стоит из  фильтров,  согласованных  с этими  сигналами 
(конечной  длительности,  частот  соі  и со0;  см.  задачу  4.6), 
устройств  возведения  в квадрат,  суммирования  и срав- 
нения. 

Заметим,  что  в (5.199)  сравниваются  квадраты  значений 
огибающих  наблюдаемого  процесса  на  выходах  двух  филь- 
тров, согласованных  с сигналами.  Поэтому  оптимальный 
приемник  для  различения  двух  сигналов  можно  интерпре- 
тировать при  помощи  двух  согласованных  с сигналами 
фильтров,  линейных  детекторов,  выделяющих  огибающие 
процессов,  и схемы  сравнения. 

Найдем  выражения  для  вероятностей  ошибок.  Для  рас- 
сматриваемого примера  из  (5. 195)  — (5. 196")  находим 


где 


,2  5ІП2АГ 
■ т 2А  Т 

(5.200) 

М2\  = Л42о  = с?т, 

(5.201) 

2 АІТ 

N о ’ 

(5.202) 

т.  е.  равно  отношению  энергии  сигнала  к спектральной 
плотности  шума. 

Если  2ТА  = (со і — (о0)  Т = кп,  к = 1,2,  . . .,  то  сиг- 
налы ортогональны  на  интервале  ( —Т , Т).  Из  (5.200)  сле- 
дует, что  средние  значения  компонент  нормальных  слу- 
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чайных  векторов  обращаются  при  этом  в нуль.  Это  означает, 
что  в соответствующих  случаях  распределения  случайных 
величин  гті  и гт0  становятся  релеевскими.  При  этом  воз- 
можно получить  выражения  вероятностей  ошибок  в замкну- 
том виде.  Действительно,  условная  вероятность  принять 
решение,  что  передавался  сигнал  ((),  когда  в действитель- 
ности передавался  з0  (0,  равна 

а ~ Р іУі  I Яо}  Р {сті  >-  гт0 1 Н0)  = 

00  4 00  _ У2, 

= ^г^ехр(— мтаУйх= 

и х 


7,1  ("  Ѵ2^]сі{г  Ѵ2), 


и так  как  последний  интеграл  равен  единице,  то 


а 


(5.203) 


Нетрудно  убедиться,  что  условные  вероятности  ошибок 
первого  и второго  рода  равны  друг  другу,  так  как 

Р = Р (Уо  | Ді}  = Р {гт0  > г ті  | Ні}  = 

~ »2+4  оо 

24  / 0 (у)  Ц .ѵе  2іІ'г  ах  сіу  = ос. 

1 о ѵ 

Заметим,  что  алгоритм  оптимального  различения  двух 
узкополосных  сигналов  А соз  (ы0і  + ф0)  и А соз  (ш^  + фО 
с неизвестной  амплитудой  А и случайными  равномерно 
распределенными  фазами  не  отличается  от  рассмотренного 
[см.  (5.197)].  От  величины  А будет  зависеть  только  пара- 
метр сРр  [см.  (5.202)],  который  определяет  вероятность 
ошибки. 
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5.4.5.  Различение  многих  сигналов.  Дальнейшим  обоб- 
щением *)  является  задача  различения  многих  сигналов. 
Пусть  известно,  что  наблюдаемый  процесс  представляет 
аддитивную  смесь  нормального  стационарного  шума  и одно- 
го из  т+  1 детерминированных  сигналов  50  (і),  $і  (О,  ■ • • 

. . .,  8т  (і).  Теперь  совокупность  решений  содержит  не  два, 
а т + 1 решений  у0,  у4,  . . .,  ут,  где  ук  — решение, 
состоящее  в том,  что  наблюдаемый  процесс  является  сум- 
мой шума  и сигнала  зк  ( I ).  Примем  байесовский  критерий 
качества  при  дополнительном  предположении,  что  платы 
за  правильные  решения  равны  нулю,  а платы  за  ошибоч- 
ные решения  одинаковы.  Кроме  того,  допустим,  что  пере- 
дача каждого  из  сигналов  равновероятна  **).  В соответ- 
ствии с § 1.4.8  оптимальное  правило  различения  сигналов 
может  быть  тогда  сформулировано  следующим  образом: 
присутствует  сигнал  5*  (/),  к --  1,  . . .,  т,  если  для  наблю- 
даемой Выборки  X],  . . .,  Ху 

ІП  1к  (.іу,  . . . , Ху)  > 1 П /;  (лу,  . . . , Ху)  (5.204) 
при  всех  }Фк  и 


1п4(лу,  . . .,  Ху)  > 0 (5.204') 


для  данного  к\  присутствует  сигнал  50(/),  если  для  всех 
к(к  - 1 , . . . , т) 

1 п Ік  (лу,  . . . , х_\)  < 0.  (5.204  ) 

В приведенных  неравенствах  отношение  правдоподобия 


^/і  (+>  ‘ • і Ху) 


\Ѵ у (*4,  ■ . ■ , Ху  | 54і)  ^ 

Ѵіг  (*!>  • • ■ ? Ху  I «о)  ’ 


1 , . . . , т.  (5.205) 


Выбирая  в качестве  наблюдаемых  координат  величины 
Хі,  определенные  согласно  (5.149),  и ограничиваясь  пер- 


*)  Результаты  предыдущих  разделов  этой  главы  получаются 
из  приводимых  ниже  при  т = 1. 

**)  Если  априорная  вероятность  сигнала  «д  (I)  равна  рк,  то  при- 
водимые ниже  результаты  оказываются  верными  после  замены 

Ік  (X),  ...,  ху)  на  Ік  (лу,  . ..,  Ху),  к=1,  . ..,  т. 

Р о 
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выми  N координатами,  представим  логарифм  к-то  отноше- 
ния правдоподобия  в виде  [см.  (5.151)] 

N 

І11  Ік  (Х*,  . . . , Х.ѵ)  — (й; о Й?а)  “Ь 


+ 2 — й;о)Хі,  6=1,  ...,  ш,  (5.206) 

І=1 

где 

т 

а;й  = ]/%  ^ 5Й  (/)  ср;  (/)  йі,  к = 0,  1,  ...,  т,  (5.207) 

— Г 

и Я,,,  ср;  (/)  — собственные  числа  и собственные  функции 
интегрального  уравнения  (5.150),  ядро  которого  совпадает 
с корреляционной  функцией  шума. 

Из  (5.204)  — (5.204")  и (5.206)  следует  оптимальное 
правило  различения:  присутствует  сигнал  5а  (і)  (выби- 
рается решение  ук),  если  для  всех  / ф к (/  = 0,  1 , . . .,  т) 

N IV 

2 (аік  - аи)  Хі  > 1 2 (а\к  - а\/).  (5.208) 

і=1  І=1 

Если  результаты  наблюдений  не  дискретизируются, 
а используется  вся  реализация  х (/)  на  интервале  наблю- 
дения, то  при  іѴ  — оо  из  (5.208)  следует  правило  [см. 
(5.158)]:  присутствует  сигнал  зк  ( і ),  если  для  всех  і ф к 
(І  = 0,  1,  • • • , т) 

Т т 

5 § ѵк]{і)[зк  {1)^з}(1)]<И,  (5.209) 

— Г —Г 

где  Ѵкі  (/)  — решение  неоднородного  линейного  интеграль- 
ного уравнения 
т 

§ В{1-и)Ѵкі{и)(1и  = 5к{і)-5}(і),  |/|<Г.  (5.210) 

— т 

При  различении  сигналов  на  фоне  аддитивного  белого 
шума  решение  интегрального  уравнения  (5.210)  имеет  вид 
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где  Ы0  — - спектральная  плотность  шума.  В этом  случае 
(5.209)  приводится  к виду 
т т 

5 Зк{і)х(і)<1і>  ^ + , іфк,  (5.211) 

- Т —т 

где  Ек  и Е]  — энергии  сигналов  зк(і)  и 8^(()  па  интервале 
наблюдения.  Неравенство  (5.211)  равносильно  следующему 
[см.  (5.162')]: 

т т 

\ М0-*(0] 2Л1>  ^ [зк(()-х(і)]2сН,  іфк , (5.212) 

— Т — Г 

которое  можно  трактовать  так:  принимается  решение  о на- 
личии того  сигнала  з*  (і),  для  которого  расстояние  до  на- 
блюдаемой реализации 

меньшее  по  сравнению  с 
расстояниями  до  любого 
другого  сигнала. 

Из  (5.211)  следует,  что 
оптимальный  приемник, 

предназначенный  для  раз- 
личения т-\-\  детермини- 
рованных сигналов  на  фоне 
аддитивного  нормального 
белого  шума,  состоит  из 
т -]-  1 согласованных  филь- 
тров с импульсными  пере- 
ходными функциями 
Щ (т)  = 5/(Г  — т),  | т | < 7, 
/'  = 0,  1,  ...  т,  (5.213) 

и следующими  за  ними  устройствами  стробирования  и срав- 
нения. Для  сигналов  равной  энергии  осуществляется 
перебор  значений  на  выходе  согласованных  фильтров  и 
принимается  решение  о наличии  того  сигнала,  для  кото- 
рого это  значение  максимально  (рис.  28). 

Рассмотрим  также  задачу  различения  па  фоне  аддитив- 
ного нормального  шума  т + 1 квазидетерминированных 
узкополосных  сигналов 

(і)  = ак  (()  сов  [соД  — (()  + фй]  (5.214) 

при  условии,  что  ак(і)  и г]з5Й  (і)  известны  точно,  а началь- 
ные фазы  ер*  случайны,  распределены  равномерно  на 
интервале  ( — я,  я)  и независимы. 
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Рис.  28.  Блок-схема  оптимально- 
го устройства  различения  т + 1 
детерминированных  сигналов. 


Предположим,  что  со0  — Наименьшая  из  совокупности 
частот  сигналов,  и пусть 

Л “й-  и0  л» 

^ к — 2 ~ (00. 

Выберем  в качестве  центральных  частот 


при  представлении  через  огибающие  и фазы  узкополосных 
процессов,  содержащих  сигналы  зк(і)  и 50(/). 

Аналогично  (5.189)  запишем  выражение  логарифма 
к-го  отношения  усредненных  функции  правдоподобия: 

1пЛй(21,  ...,  2дг)  = ІП  /0  (Гдгй)  — ІП  /0  (Гіѵо)  — • 

ІѴ 

— [|8гй|2—  [ «ІО  I2],  к=  1,  . . . , т,  (5.215) 

І=і 

где  для  любого  к от  0 до  т 

N 

Лѵь  = | 2 гі$ік  [ ; (5.216) 

т 

5ік  = Ѵ^і  ^ г8к(1)еи*ь фА  (()сіі;  (5.217) 

-т 

г8к(і)  = ак(і)е~г'і’*ь0)  (5.218) 

и ^іі  Фі  {(),  как  и раньше,  — собственные  числа  и функ- 
ции однородного  линейного  интегрального  уравнения 
с ядром,  совпадающим  с корреляционной  функцией  Вг  (т) 
комплексной  огибающей  шума  [см.  (5.35')  ]. 

Из  (5.204)  — (5.204")  и (5.215)  следует  правило  выбора 
решения:  присутствует  сигнал  зк  (()  (решение  уА),  если  для 
наблюдаемой  выборки  ги  г м и для  всех  / ф к 

N 

ІП  /о  Ы)  - ІП  /о  (г„;)  > | 2 [|  8ік  |2  - 1 зік  I2] . (5.21  9) 

І=1 

Если  различение  проводится  по  реализации  г (()  комплекс- 
ной огибающей  на  интервале  (—Г,  Т ),  то  при  N ->  оо 
из  (5.219)  следует: 

1п  /0  (гтк)  - 1п  /„  (гті)  > ^ (5  220) 
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(5.221) 


Где  для  любого  / от  0 до  т 


-Г 


(5.222) 


а II і ( і ) — решение  неоднородного  линейного  интегрального 
уравнения 
т 

5 Вг{і-у)иЛУ)^У  = ^Л Ое"ЛЛ  И|<7’.  (5.223) 

— г 

При  различении  на  фоне  аддитивного  белого  шума 
со  спектральной  плотностью  /Ѵ0  решение  этого  уравнения 
имеет  вид 


^(0  = ^(0еі,АЛ 

а величины  и гіт3-  равны 

г т-'  = д I ^ 2 (О  2«^'  (0  е ; ^ 


-т 

т 


'^-=^  5 І2"(0Іял=^-. 


— т 


(5.224) 


(5.225) 

(5.226) 


где  Е]  — энергия  /-го  сигнала. 

При  различении  сигналов  равной  энергии  Е 3 = Е пра- 
вило выбора  решения  с учетом  монотонности  функции 
1п/0(г)  может  быть  сформулировано  так:  присутствует 
сигнал  8н  (0,  если  Для  всех  І Ф к 


ИЛИ 

гГк^  г ТІ 

т 

Т 

[ Щгзк(і)еІІАЫі 

>1  ^ г (і)  г8І  (і)  еІІАі  сП 

е) 

— Т 

— Т 

(5.227) 

(5.227') 


Имея  в виду,  что  квадратурные  составляющие  г„-  (Г) 
и г (/)  — медленно  меняющиеся  функции  (см.  § 6.2.2  в пер- 
вой книге),  и пренебрегая  в (5.227')  интегралами  от  про- 
изведений этих  функций  на  высокочастотное  заполнение 
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вида  соз  со/  при  со>со0,  можно  указать  следующее  пра- 
вило различения  сигналов  (равной  энергии)  на  фоне  адди- 
тивного белого  шума:  принимается  решение,  что  присут- 
ствует сигнал  5Л  (/),  если  для  наблюдаемой  реализации 
х (/)  при  всех  / ф к 
т 

( ^ X (/)  ак  (/)  соз  [шк(—  (/)]  йіу  + 

-Т 

Г 

+ ( § х(і)  ак  (/)  зіп[сой/  — (0]Л)2> 

- т 

т 

> ( § х (/)  й]  (!)  СОЗ  [СО;/  — (/)]  Л)  “ + 

-т 

т 

~|  .ѵ  (/)  а}  (/)  зіп  [со; / — г|);8  (/)]  <і/|  . (5.228) 

-т 


Оптимальный  приемник,  предназначенный  для  разли- 
чения, состоит  из  набора  2т + 2 фильтров,  согласованных 
с сигналами  зк  (/),  |/|<Т,  6 = 0,  1,  т,  и сигналами 


5*  (/)  = ак  (/)  зіп  [шй  / — т|}й  (/)], 
[ / |<Т,  6 = 0,  1 , . . . , тп 


(5.229) 


(которые  являются  преобразованиями  Гильберта  от  зк  (/); 
см.  приложение  VII  в первой  книге),  а также  устройство 
возведения  в квадрат,  суммирования  и выбора  наиболь- 
шего значения  (рис.  29). 

Заметим,  что  в (5.228)  сравниваются  квадраты  значений 
огибающих  наблюдаемого  процесса  на  выходах  двух  филь- 
тров, согласованных  с сигналами  зк  (/)  и 5;  (/).  Поэтому 
оптимальный  приемник,  предназначенный  для  различе- 
ния т -+-  1 сигналов,  может  быть  представлен  набором 
только  т + 1 согласованных  фильтров,  выходные  сигналы 
которых  детектируются  и поступают  далее  на  схему  срав- 
нения, выделяющую  наибольшее  из  т + 1 значений  оги- 
бающих (рис.  30). 

Нетрудно  в рассматриваемом  случае  определить  вероят- 
ности перепутывания  сигналов,  если  потребовать,  чтобы 
выполнялись  следующие  условия  ортогональности : 
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при  / ф к 


т 

5 5/і  (/)  5;  ({)  Ш = 0,  (5.230) 

- т 
т 

5 «2(0  5./ (0  аі  = о.  (5.230') 

—г 

Тогда  распределение  случайной  величины  гтк  подчи- 
няется релеевскому  закону  с параметром  сіт  = ~,  если 


Рис.  29.  Блок-схема  оптимального  устройства  различения  иі  -р  1 
квазидетерминнрованных  узкополосных  сигналов. 

гипотеза  Нк  (присутствует  сигнал  5„)  не  верна,  и обоб- 
щенному релеевскому  распределению  с параметрами 


Рис.  30.  Блок-схема  оптимального  устройства  различения,  экви- 
валентного изображенному  на  рис.  29. 

(йт.  йт),  если  гипотеза  Нк  верна.  Вероятность  акі  перепу- 
тать к- й сигнал  с /-м,  т.  е.  принять  решение,  что  при- 
сутствует когда  в действительности  послан  сигнал 
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5Й(0,  для  всех  к и / (к  ф /)  равна  [см.  (5.203)] 

&кі  = у е . (5.231) 

Вероятность  рош  ошибки,  т.  е.  вероятность  назвать  любой 
/- й сигнал,  когда  в действительности  присутствует  6-й 
сигнал  (]фк),  находим,  используя  правило  сложения  для 
совместимых  событий  (см.  § 1.1.5  в первой  книге): 

(1т 

Рот  (5.232) 

Задачи 

5.1.  Обобщить  результаты  § 5.2.2  на  обнаружение  квазидетер- 
минированного  сигнала 

5 (0  =.  Аа  (()  со5  [со0г  — г|>5  ( і ) + ф0) 

со  случайными  амплитудой  А и фазой  <рд.  Исследовать  случай,  когда 
фаза  не  зависит  от  амплитуды  и распределена  равномерно.  Доказать, 
что  для  широкого  класса  распределений  иіі  (А)  оптимальное  байесов- 
ское правило  обнаружения  $ (I)  на  фоне  аддитивного  нормального 
шума  не  зависит  от  хю^  (А)  и определяется  неравенствами  вида  (5.44') 
или  (5.62').  Показать,  в частности,  что  указанное  свойство  имеет 
место  для  релеевского  распределения  амплитуды.  Найти  для  этого 
случая  (при  условии,  что  М2  {Л}  = 2)  следующие  выражения  условной 
вероятности  пропуска  сигнала  (для  критерия  Наймана— Пирсона): 

_ Аадг  К Х2 

Р(Л)  = е 2 ^ хе  2 /0  (хА  <іТ)  Лх,  (1) 

о 

где  порог  К определяется  заданной  вероятностью  ложной  тревоги  а 

(П 

сіу  определяется  согласно  (5.61).  Для  дискретной  выборки  йТ  заме- 
няется на  йц  [см.  (5.49)]. 

5.2.  Для  задачи  5.1  при  условии,  что  амплитуда  А распределена 
по  релеевскому  закону  с дисперсией  М2{Л}  = 2,  найти  логарифм 
усредненного  отношения  правдоподобия 

г2 

1пЛ(гь  ...,  г^)=-1п(1+гіг)-1 . (2) 

2 (1  -Мт) 

Показать,  что  вероятность  правильного  обнаружения  и вероятность 
ложной  тревоги  в этом  случае  связаны  соотношением 


1 +а2т 


1-~Р  = а 


(3) 
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В формулах  (2)  и (3)  величины  гт  и йт  определяются  согласно 
(5.60)  и (5.61)  соответственно.  При  дискретных  выборках  гт  и <іт 
заменяются  на  гк  п [см.  (5.42)  и (5.49)]. 

5.3.  Показать,  что  функция  распределения  суммы  квадратов  N 
независимых  случайных  величин,  каждая  из  которых  распределена 
по  обобщенному  релеевскому  закону 

_ ) 2+д2 

Щ(г)  = ге  2 / 0(аг ),  г > 0, 

имеет  следующий  вид: 

ТУ—  1 у+(і2 

М=4  (^г)  2 *~~^-ЛаѴу),  у>  0.  (4) 

Получить  из  (4)  частный  случай  при  а=  0 распределения  суммы 
квадратов  N независимых  релеевских  случайных  величин  (^-распре- 
деление с 2УѴ  степенями  свободы) 

Уі(У)=ІѴ?-1)1У'Ѵ-1е-1'/2’  У>°-  (4'} 


5.4.  Используя  результаты  задачи  5.2,  найти  вероятности  лож- 
ной тревоги  а и пропуска  сигнала  [5  при  обнаружении  по  алгоритму 
(5.101)  синусоидального  сигнала  (отношение  амплитуды  сигнала 
к среднеквадратичному  значению  шума  мало).  Показать,  что  при  про- 
извольном N 


а — 


Г(/Ѵ) 


где  Г (IV,  г)  — неполная  гамма-функция  [ср.  с (5.90)], 


2У*іѵ 

а х2+а2 

Р = ^ е 2 I N—1  (ах)  &х  = 

0 

2 ТА^у 

а з:2-[-а2  . а2  2К^ 

= ^ ле  2 /0(ах)  Лг  + е ' 2 + а2  ' 

о 

*2  (2-^)“'.<2>та. 

ь=і 


(5) 


(5') 


причем  последний  интеграл  представляет  табулированное  интеграль- 
ное обобщенное  распределение  Релея  (см.  ссылку  [12]  к гл.  3 пер- 
вой книги). 

Исследовать  критерий  максимального  правдоподобия,  когда 
г,  N0.°- 
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5.5.  Получить  следующие  асимптотические  формулы  (при  К'  » О 
для  вероятностей  ложных  тревог  и пропусков  сигнала  при  обнару- 
жении слабого  синусоидального  сигнала  с известной  начальной  фазой 
(отношение  а амплитуды  сигнала  к среднеквадратическому  значению 
шума  мало): 


а 


— Р 


2 1п  с 
а2  УУѴ 


2 1 п с 
а 2 УЛ' 


(6) 

(6') 


5.6.  Показать,  что  для  синусоидального  сигнала  постоянной 
амплитуды  Л0  при  С 1 оптимальное  приемное  устройство,  исполь- 
зующее фазовый  метод  обнаружения,  состоит  из  идеального  ограни- 
чителя и интегратора,  выход  которого  сравнивается  с заранее  уста- 


новленным порогом: 


к=  1 


или  приближенно  при  АТ  )§>  1 


Д_ 

л 


я 


5 


сое  О (/)  іі  О 


— л 


1 п с 


у , / Я А0 
4 V 2 а 


(7) 


(8) 


Получить  следующие  формулы  для  вероятностей  ложных  тревог 
и пропусков  сигнала: 


а=  1 — Р 


/ 1 п с 2о 
' УяіѴ 


/ 1п  с 2 а 
ѴУя/Ѵ  Ао 


(9) 

(10) 


5.7.  Показать,  что  для  синусоидального  сигнала  постоянной 

„ „ Ап  , 

амплитуды  А0  с известной  начальной  фазой  при  » 1 оптималь- 
ное приемное  устройство,  использующее  фазовый  метод  обнаруже- 
ния, состоит  из  фазового  детектора,  выделяющего  квадрат  фазы 
и интегратора.  Доказать,  что  правило  выбора  решения  (критерий 
максимального  правдоподобия)  определяется  неравенствами:  сигнал 
присутствует,  если 


N 


1 
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или  приближенно  при  Д Т 1 

т 


5 МЛ  <1^247- 1„ 


-г 


(12) 


Получить  следующие  асимптотические  формулы  для  вероятностей 
ложных  тревог  и пропусков  сигнала  вероятностей 


Г 


Р ! 


’ ѴіІ  т/л7 


I 4 


У'Ѵ 


21п  ( і/йг  А) 


Р ~ I-/7  [і/2/ѴІп  (У2я  А|1 


(13) 


(14) 


5.8.  Показать,  что  вероятность  обнаружения  синусоидального 
сигнала  постоянной  амплитуды  Л0  при  А»  1,  когда  используется 
"Р"І'РИ‘1  Н-й™"-.-П„рсо„а,  может  „ре- 


1-Р 


Г 


-(фіуГ[Ѵ'  /іУ  (У1 Ѵ-*>],  С 5) 

я,)  — неполная  гамма-функция  и порог  К определяется 
вероятностью  ложных  тревог.  ^ А 1СЯ 

5.9.  Проверяется  гипотеза  Н0  о том,  что  реализация  * ( і ) 

Фѵ  ^иГёй  ГіТТИппСТ°ХаСТНЧеСК0Му  С"ГМалу  с корреляционной 
функцией  Д0(й,  о),  против  альтернативы  Ни  что  эта  реализация 
принадлежит  стохастическому  сигналу  с корреляционно/  функцией 
Вх  (и,  ѵ).  Распределения  сигналов  нормальные.  Показать,  что  опти- 
мальное  устройство  различения  двух  указанных  стохастических 
сигналов  не  отличается  от  изображенного  на  рис.  27,  а импульсная 
переходная  функция  к (и,  ѵ)  линейного  фильтра  с переменными  пара- 
аМетаРкже  [2°удеЛяется  из  интегрального  уравнения  (см  § ЗІ7, 


т т 


§ ^ Во(і,  и)  В1  (ѵ,  у)  к (и,  ѵ)  Ли  кѵ  = (/,  у)  — В0((,  у), 

-т  —т 


(16) 


НІ<7\  | і/ 1 <Г. 


5.10.  Показать,  что  вероятность  ошибки  при  различении  т+1 
детерминированных  ортогональных  сигналов  зь  (()  к = 0 
равной  энергии  Е на  фоне  аддитивного  нормального  белого 'шума 
с интенсивностью  Л'0  равна  у 

оо  зс2  

Рпш=1~7Тп  5 е 2рт  (Х  У%)  ах-  (і7) 
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5.11.  Заменить  в задаче  5.10  условие  ортогональности  условием 

т 

^ 5к(і)  =ХЕ,  (18) 


и показать,  что  при  этом 

оо  л'2 


Рош  ; 


1 Р о / -,  / 2 Е (1 — А)  N , 

1-ушІе  2ртЫ  Лг-)ах- 


(19) 


Доказать,  что  в (18)  временной  коэффициент  взаимной  корреля- 
ции сигналов  X не  может  быть  меньше  чем  — — ^и,  следовательно, 
минимально  возможное  значение  X,  соответствующее  наименьшей 
вероятности  ошибки,  равно  — — ^ . 
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ГЛАВА 

ШЕСТАЯ 


ВЫДЕЛЕНИЕ  СИГНАЛОВ  НА  ФОНЕ 
ПОМЕХ 


6.1.  ОЦЕНКИ  МАКСИМАЛЬНОГО 

ПРАВДОПОДОБИЯ  НЕИЗВЕСТНЫХ 
ПАРАМЕТРОВ  СИГНАЛА 

6.1.1.  Постановка  задачи.  Переходим  к изложению 
некоторых  вопросов,  относящихся  к проблеме  выделения 
сигналов  на  фоне  помех.  Как  уже  отмечалось  в начале 
пятой  главы,  эта  проблема  возникает  в ситуации,  когда 
априори  известно,  что  сигнал  содержится  в наблюдаемом 
случайном  процессе,  представляющем  комбинацию  сигнала 
и помехи,  но  неизвестны  некоторые  характеристики  сигна- 
ла, которые  в закодированном  виде  содержат  полезную 
информацию.  Эти  характеристики  могут  быть  неизвестными 
числами  или  функциями  времени,  случайными  величинами 
или  случайными  процессами.  Задача  выделения  сигнала 
состоит  в определении  оптимальных  (в  смысле  принятых 
критериев  качества)  процедур  построения  оценок  указан- 
ных характеристик  по  результатам  наблюдения,  которые 
могут  быть  представлены  в виде  выборки  конечного  раз- 
мера или  непрерывной  реализации  процесса  на  входе 
приемника  *). 

Как  и в предыдущей  главе,  изложение  ограничивается 
в основном  случаем,  когда  помехи  представляют  аддитив- 
ный нормальный  стационарный  шум,  статистически  неза- 
висимый от  сигнала.  Вначале  предполагается,  что  наблю- 
даемый процесс  представляет  сумму  шума  | (і)  с нулевым 
средним  и детерминированного  сигнала  з ((',  А,  ф,  . . . 

• • •,  Ъм),  зависящего  от  неизвестных  параметров  А,  ф, 
'Э'і,  . . .,  дм.  Затем  рассматриваются  байесовские  оценки 
случайных  параметров  квазидетерминированного  сигнала 
при  известном  их  совместном  априорном  распределении. 

*)  Заметим,  что  процесс  оценки  характеристик  сигнала  может 
быть  совмещен  с обнаружением  сигнала  (подробнее  см.  в [11]). 
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Содержание  § 6. 1 и 6.2  является  детализацией  и радиотех- 
нической интерпретацией  общих  математических  резуль- 
татов, указанных  в § 3.6. 

6.1.2.  Совместные  оценки  амплитуды  и фазы  гармониче- 
ского сигнала.  Оценка  неизвестной  амплитуды  а детер- 
минированного сигнала  аз  ( I ) в аддитивном  нормальном 
шуме  была  подробно  рассмотрена  в § 3.6.2. 

Так,  было  показано,  что  несмещенная  эффективная 
оценка  неизвестной  амплитуды  получается  интегрирова- 
нием реализации  процесса  х (/)  с весом,  определяемым  кор- 
реляционной функцией  шума.  В случае  белого  шума  эта 
оценка  получается  на  выходе  фильтра,  согласованного 
с сигналом  5 (/),  а отношение  дисперсии  оценки  (минималь- 
но возможной)  к квадрату  оцениваемой  амплитуды  равно 
при  этом  отношению  спектральной  плотности  шума  к энер- 
гии сигнала  [см.  (3.177)]. 

Теперь  исследуем  простейший  случай  совместной  оцен- 
ки двух  неизвестных  параметров  — амплитуды  А и фазы  ср 
детерминированного  гармонического  сигнала  5 (/)  = 
= А соз  (ы0{  — ср)  известной  частоты  ю0  в аддитивном 
узкополосном  нормальном  шуме  с известной  корреляцион- 
ной функцией  В (т).  Воспользовавшись  комплексными 
представлениями  наблюдаемой  реализации  и сигнала 

х(()=  Яег(1)еіы°1,  (6.1) 

5 (/;  А,  ф)  - Ке  Л е~  ‘ф  еіЧо°',  (6.  Г) 

запишем  систему  уравнений  максимального  правдоподобия, 
из  которой  получается  соответствующие  этому  критерию 
оценки.  В соответствии  с (3.161')  при  V ({;  А,  ф)  = 
= Ле-Іф  II  (/)  имеем 

т т 

е-іф  ^ 11(1)  г (I)  е-іо,о'  сП  — А ^ И (і)  е-ім°'Л  + 

-т  -т 

т т 

-фе’ф  ^ II  ({)  г (і)  еіш»'  <1і  — А ^ і/ (()  сіі --  0,  (6.2) 

-т  -т 

т т 

е~іф  ^ И (і)  Т(Г)  е-іа°1  ді  — еіф  ^ V (!)  х 
-г  -т 

X г [{)  еі<Л°1  ді  = О, 
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(6.2') 


где  V ( і ) определяется  из  интегрального  уравнения 

Т 

5 в г {і—у)и  (У)  йу  — еіс°о(,  |/|<Г.  (6.3) 

— т 


Складывая  (6.2)  и (6.2'),  получаем  уравнение,  связываю- 
щее оценки  Ли  ф: 

т 

)'  С (0  г (0  е'ію°'  сП 

А ^ . (6.4) 

Не  V (і)  е”ім°(  сП 


Из  (6.4)  непосредственно  следуют  формулы  для  оценки 
неизвестных  амплитуды  и фазы: 

т 

| | и (О  Г(7)  сП  | 

, (6.5) 

Не  К V (0  е“ІС0°'Щ 
-т 

Ф=--агс*8|^,  (6.5') 

где 

т 

Ѵ=  § Щі)г(І)  е“і0’°'  йі.  (6.5") 


Если  аддитивный  шум  белый  со  спектральной  плот- 
ностью УѴ0,  то  7/  (/)  = -3—  еі(°о'  и из  (6.4)  получаем 

т 

Ле{ф  =2Г  5 г{і)йі.  (6.6) 

-т 

Из  (6.6)  находим  следующую  оценку  фазы: 

Т Т 

I т )'  г(1)сП  ^ с{і)сН 

Ф = агсі§ — ~ = агсі§  ~ , (6.7) 

Не  )'  г (і)  сіі  А ( I ) сП 

—т  -Т 

где  А ({)  и С (()  — квадратурные  составляющие  наблюдае- 
мой реализации  (см.  § 5.2.2).  Учитывая,  что  эти  состав- 
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ляющйе  представляют  медленно  меняющиеся  по  сравнению 
с соз  (о0  і процессы,  можно  пренебречь  интегралами 
от  произведений  А (і)  и С (()  на  высокочастотные  функции 
соз  а>і  при  со  > со0.  Тогда  оценка  (6.7)  в зависимости 
от  наблюдаемой  реализации  х (()  представляется  следую- 
щим образом: 

т 

( х ( I ) зіп  (а01  йі 

Ф = агс(§  -/ . (6.8) 

) X (I)  С05  ю I йі 

- -г 


Оценка  амплитуды  в этом  случае  равна 

т 

А 


~2  Т ] г^йІ 


-т 


4гУ  ( 5 А (*)*)*+(  I С(()<и)й  (6.9) 


-Т 


или  с учетом  замечания,  сделанного  при  выводе  (6.8), 
А [(-^Г  5 X (0  соз  (Оо^/)  Ч- 


+ (-2^-  ^ х(/)5ІПЫ0Ы/р]  2 . 


(6.10) 


Сравнивая  (6.9),  (6.10)  с (5.67),  (5.67'),  приходим  к вы- 
воду, что  устройство  обнаружения  квазидетерминирован- 
ного  гармонического  сигнала  в белом  шуме  может  быть 
непосредственно  использовано  для  получения  оценки  ам- 
плитуды сигнала,  а его  отдельные  элементы  (интеграторы 
квадратур)  — для  оценки  фазы  [см.  (6.7)  и (6.8)]. 

Рассмотрим  основные  свойства  оценок  амплитуды  и фазы 
гармонического  сигнала,  принимаемого  на  фоне  аддитивного 
белого  шума.  Прежде  всего  отметим,  что  интегралы 


Уг  і а (()  <и  и 


2 Т 


С ({)  йі  представляют  независимые 


-г 


-Т 


случайные  величины,  подчиняющиеся  нормальному  закону 
распределения  с параметрами  ^Лсоз  ср,  и ( А зіпср,  ^ 
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соответственно.  Таким  образом,  из  (6.7)  й (6.9)  сле- 
дует, что  оценки  А и ф представляют  модуль  и фазу 
плоского  вектора  с независимыми  нормально  распре- 
деленными компонентами,  имеющими  одинаковые  диспер- 
сии. Отсюда  следует,  что  оценка  А амплитуды  А [см.  (6.9)] 
имеет  обобщенное  релеевское  распределение  с параметрами 

(Л,  , причем  при  (іт  оо  это  распределение  асимпто- 

тически нормальное.  Среднее  значение  оценки  А равно 
(см.  (3.74)  в первой  книге) 

т'0=зг/з:[(і+4)'.(-т-)  + 


(6.11) 


где  йт  — отношение  энергии  сигнала  к спектральной  плот- 
ности шума,  т.  е. 


(Гт 


2ТА 2 
N0 


(6.1  Г) 


Таким  образом,  оценка  максимального  правдоподобия 
амплитуды  оказывается  смещенной. 

Если  (Гр  > 1,  то  (см.  (3.77)  в первой  книге) 

<6-|2> 

и, -следовательно,  А при  оо  — асимптотически  несме- 
щенная оценка  амплитуды  сигнала. 

Дисперсия  оценки  А равна  (см.  (3.75)  в первой  книге) 

Мг  {А}  = Л2  ( 1 —т\  {Л}.  (6.13) 

Если  йт  > 1,  то  (см.  (3.78)  в первой  книге) 

(6.14) 

Нетрудно  определить  функцию  распределения  оценки 
максимального  правдоподобия  фазы  ф (так  как  эта  оценка, 
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как  указывалось  выше,  представляет  фазу  вектора  с неза- 
висимыми нормальными  компонентами) 

т 

$ С (0  сіі 

Ф = агсі§Д^ . (6.15) 

I А{і)сіі 
-т 

Тогда  в соответствии  с (3.81)  из  первой  книги  плотность 
вероятности  ср  равна 

2 о 

СО32('0‘  — ф) 

ші  (^) 17  2-Т  е 2 { 1 + Ат  V 2л  соз  (0  — ф)  е 

X Р [<іт  соз  (тЭ  — ф)]},  |Ф  — ф|<я.  (6.16) 


Так  как  функция  (’&)  четная  относительно  О — ф,  то 
указанное  распределение  свидетельствует  о том,  что  оценка 
максимального  правдоподобия  представляет  несмещенную 
оценку  неизвестной  фазы  гармонического  сигнала  в адди- 
тивном нормальном  шуме. 

Дисперсия  оценки  ф равна  (см.  (3.93)  в первой  книге) 

оо 

М2М=у+4^  (-1)"-^-  , (6.17) 

п - 1 


где 


г ( 1 + 2 ) 

л п\  2П/2 


П+  1, 


(6.17') 


Если  йт  > 1,  то  из  (6.16)  следует,  что  распределение  ф 
асимптотически  нормальное  с нулевым  средним  и диспер- 
сией (см.  (3.88)  в первой  книге) 

(6-18) 

Определив  информационную  матрицу  относительно  оце- 
ниваемых параметров  А и ф,  можно  показать,  что  оценки 
А и ф максимального  правдоподобия  асимптотически  сов- 
местно эффективны  (см.  задачу  6.3). 

Таким  образом,  в соответствии  с общей  теорией  (см. 
§ 2.3.1)  рассмотренные  оценки  максимального  правдоподо- 
бия амплитуды  и фазы  сигнала  в аддитивном  нормальном 
белом  шуме  асимптотически  несмещенны,  совместно  эффек- 
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тивны  и нормальны,  причем  оценка  фазы  несмещенная 
(при  любом  конечном  йТ),  а оценка  амплитуды  смещенная. 

6.1.3.  Оценки  параметров  узкополосного  сигнала  на  фоне 
аддитивного  белого  шума.  Рассмотрим  узкополосный  сигнал 

з((;  А,  ер,  64,  . . .,®м)  = АКеа{(;  0І7  . . .,§м)е~^е^о\ 

(6.19) 

который  кроме  амплитуды  А > 0 и фазы  ф содержит  еще 
М неизвестных  параметров  комплексной  огибающей. 
Требуется  определить  оценки  максимального  правдоподо- 
бия этих  параметров  по  реализации  процесса  х (і)  — 
= Ке  г (1)  е“°°(,  представляющего  аддитивную  смесь  ука- 
занного сигнала  и нормального  белого  шума  со  спектраль- 
ной интенсивностью  N 0. 

Используя  (5.54)  (с  очевидным  изменением  некоторых 
обозначений),  запишем  логарифм  функционала  отношения 
правдоподобия,  учитывая,  что  для  рассматриваемого  случая 

Ѵ{і)  = А-а{і-  <>!,  ...,0м)е-*ф, 

в виде 

1п/[2  (О  И,  ф,  #1,  • • - ,^м]  = 
т 

= ~ Ре  е-іф  51  а (/;  Т>І7  . . . , гѴ)  Щйі- 
-т 
т 

5 \а(<-,Ъи  . . . , #м)  |2  Ш.  (6.20) 

-Т 

Пусть  сигналы  нормированы  таким  образом,  что  при 
любых  тЭ1!,  . . . , Ом 

т 

2 Г \ И*;  ^і.  ••■,гѴ)|2Л=  1.  (6.21) 

-Т 

Условие  (6.21)  означает  постоянство  энергии  сигнала 
на  интервале  наблюдения,  так  как 
т 

Е--  ^ 52  (і\  А,  ф,  ■&!,  . ..,®м)(1{  = 

-т 

т 

— А-  ^ | а (/;  тО1 4 , . . . , Од/)  |"  соз"  [со0/ 

-т 

-фагйа(/;  д1?  . . . , Ом)  — ф]  йі  «и  Л27\ 
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где,  как  обычно,  пренебрегается  интегралом  от  произведе- 
ния медленно  меняющейся  функции  и высокочастотного 
заполнения. 

Учитывая  (6.21),  перепишем  (6.20)  в виде 
1п/[2(/)|Л,  Ф,  ■&!,  . . • , -Ом]  = 


1 

2ТМ0 


®м)  г (/)  йі 


А V 


2 Т 
N а 


еіф. 


1 


у2ТЫ  о 


®м)  г (/)  сіі 


(6.22) 

Пусть  А,  ф,  д1(  . . .,  ’&м  — оценки  максимального  прав- 
доподобия. Так  как  первый  член  (6.22)  положительный 
и не  зависит  от  А и ф,  то  максимальное  значение  логариф- 
ма функционала  отношения  правдоподобия  по  парамет- 
рам А и ф достигается  при  условии  обращения  в нуль 
второго  (отрицательного)  члена.  Отсюда  находим  соотно- 
шение между  оценками 


откуда 


А = 


_1_ 

27 


2 Т 


Ф = агс!§ 


г ^ а(і;  іЭу,  . 
-т 

. .,  Ьм)  г (1)  Аі, 

(6.23) 

т 

^ а(/;  . . 

.,  Ьм)г(і)(1і, 

(6.23') 

т 

Іт  § а (і;  Оі, 
-т 

. . .,  Ом)  г ( і ) сіі 

(6.23") 

т 

Не  ^ а (і;  ^ . 
-т 

■ ■ і ®м)  г (0  сіі 

(/)  = 1 формула  (6.23),  как 

и следует 

ожидать,  переходит  в (6.6). 

Теперь  задача  состоит  в определении  максимума  макси- 
морума  первого  слагаемого  (6.22),  т.  е.  следующей  функции 
параметров  Оі,  . . л')д, : 

(ді = 2 ТГ0 


§М)2(/)^Г.  (6.24) 


-т 


В рассматриваемой  задаче  выделения  сигнала  известно, 
что  наблюдаемая  реализация  представляет  сумму  сигнала 
и шума.  Комплексная  огибающая  этой  реализации  равна 

г (/)  А0а  <&)  е-^о  + (/),  (6.25) 


где  (I)  — комплексный  нормальный  стационарный  слу- 
чайный процесс  с равномерным  спектром,  а величины 
А о,  сро,  . . .,  і'і'ѵі  представляют  истинные  значения 
параметров  сигнала,  которые  необходимо  оценить  по  на- 
блюдаемой реализации  х (/)  ==  Ке  2 (/)  еіи°г. 

Подставляя  (6.25)  в (6.24),  представим  функцию 
<2  (ву,  . . .,  і)м)  в виде 


«м)  = -^-[А(01,  ...,  §м)  + 
+ 2 Ке  (г^!,  . . . , ■б'м)  х (Яу,  • • • , д'м)  + 
+ \Х(К  ...,^м)|2], 

где  обозначено 

Л(&1,  ....  0М)  = |Ѵ(01,  ....  дм)  |2  = 

= 2 Т ! а V’  ^1’  ■ ■ • > ^лг)  а{(]  »!,  . . ддг)  (1і 
—т 


(6.26) 


(6.26') 


т 

х(й„  •••,^м)=27^-  ^ а(*;01,  ...,#М)21(0Л,  (6.26") 

— т 


причем  функции  /г  и — детерминированные,  а х ($У,  • • ■ 

• • • , А'м)  — нормальная  случайная  величина  с нулевым 
средним  и дисперсией,  равной  обратной  величине 
2ТЛ2 

д'т  = отношения  энергии  сигнала  к спектральной 
плотности  шума. 

При  фиксированных  значениях  . . .,  §ам  функцию 
т 

^ (#1,  • ■ • , Ам)  = 4г  5 а (и  К • • • - Щ а(і\&и  ....  0ЛГ)  <и, 

—т 

(6.27) 


зависящую  только  от  формы  комплексной  огибающей 
сигнала  и ее  параметров,  называют  функцией  неопределен- 
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Ности.  Согласно  неравенству  Буняковского  — Шварца 
(см.  стр.  84  в первой  книге) 

т 

гт, ....  0м)і<[-^г  ^ ис к .... оыалх 


^ 2Г  I а (С  і 'в’дг)  [2  г//1 

или  с учетом  (6.21) 

| V (О.,  . . . , ®м)  | < 1 . (6.27') 

Максимальное  значение,  равное  единице,  функция  | Тг  I 
достигает  при  = і=\,  . ..,  М [см.  (6.27)].  Это 

соответствует  тому  случаю,  когда  шумовое  слагаемое 
в (6.25)  исчезает,  т.  е.  когда  йт—>  оо.  Таким  образом, 

1Т(іЭ'5,  . . .,  {}%)  = | 'Р (й,",  . . .,  д5г)|  = 1.  (6.27") 

Так  как  среднее  по  множеству  реализаций  функции  С} 
равно 


щ {<?  (#„  . . . , ад  = * Га  (о1(  . . . , йм)  + Л-1 

е л?  Л 

и первый  член  в квадратных  скобках  в силу  (6.27")  бли- 
зок к единице  при  условии 


ат 


(6.28) 

то,  ограничивая  дальнейшие  исследования  условием  (6.28), 
будем  отыскивать  максимум  максиморум  функции  <2,  пре- 
небрегая в (6.26)  последним  членом.  Вообще  говоря,  эта 
функция  может  иметь  много  максимумов  в /14-мерном  про- 
странстве неизвестных  параметров  Если  шумовое  сла- 
гаемое в реализации  отсутствует,  то,  как  отмечалось  выше, 
эта  функция  достигает  абсолютного  максимума  при  О,  = 
Оі,  і = 1,  ■ • .,  М.  Наличие  шума  вызывает  смещение 
этого  максимума,  но  при  выполнении  условия  (6.28)  можно 
считать,  что  это  смещение  невелико , так  что  оценки  йь 
соответствующие  абсолютному  максимуму  функции  прав- 
доподобия, близки  к истинным  величинам  оцениваемых 
параметров  О,.  Учитывая  это  обстоятельство,  разложим 
функцию  ф (йу,  . . .,  0М)  от  М переменных  в ряд  Тейлора 
около  точки  ,д'°,  . . .,  йдъ  Ограничимся  членами  второго 
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порядка  малости,  опуская  последнее  слагаемое  в (6.26) 
Далее  имеем: 


дк 

Ж 


о 


+ 


в точке  (0" , . . . , так  как  в этой  точке  функция 

Іі  (61!,  . . 6' м ) имеет  максимум.  С учетом  сделанных 

замечаний  получим  из  (6.26) 

Я (К  ■■■,®м)  = Я(К  •••.%)  + 

м 

I V /А  АО  \ <М}  ('в'іі  ■ • * . ®м) 

А ( к ' 

й=  1 ‘ * , . . 

+ | 2 2 ^ ) (Ь  - V)  — 

где 

<3  (О? 08,)  = СІ\  [ 1 + 2 Ке  х (К  . . . , Ю еіфо]; 

д<3  (ві,  ....  йЛ/) 


*М  = *Л, 


-0? *Д1=*л/ 


дОь 


# -ло  , „ =-  2й\  Ке  е^°  х 

Д-®?  , . . .,  #м  = Ол, 


~дх  (>'>■ Ом) 


г Х(Оі,  • • Ьм)  X 


> дмП 

д®к  2#і=во,  .... 

Дифференцируя  полученное  разложение  функции  <2 
по  Ок  и приравнивая  результат  нулю,  находим  систему 
уравнений  правдоподобия 


м 

2 Як]  (■&]  - О,9)  = Іп,  к=  1 , . . . , М,  (6.29) 

5=1  7 

где  обозначено 


и = — 


д<3  (0І;  . ■ .,  Оы) 

ЙО/, 


*!=«?■  Одг-оѴ 


(6.29') 


<2л.;  : 


е2<Э(Оі ®м) 


дй/і  д{}^ 


(6.29") 


Если  детерминант  матрицы  О,  составленной  из  элементов 
отличен  от  нуля,  то  существует  обратная  матрица 
О 1 с элементами,  равными  отношению  алгебраических 
дополнений  к детерминанту  матрицы  О.  Обозначив  эле- 
менты обратной  матрицы  через  дк},  запишем  решение 
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системы  линейных  уравнений  (6.29)  относительно  ошибки 
в виде 

Ь - ='  2 ІкЧкі,  І 1 , • • ■ , М,  (6.30) 

і=і 

где  в соответствии  с принятым  приближением  [см.  (6.26) 
и (6.28)]  ѵ ' 

т 

и = Ке  |сл,х  ^4-  ^ р;((;  іѴ,1,  ....  §«„)  X 


X (і  $«</,  «м  а)  + 


4- 


йа  (і;  . . . , Ц,) 


д®к 


] г(  ( І)(ІІ . 


(6.30') 


<6=0° (6'31) 


Величины  Ѣь.  и ^к^  случайные,  зависящие  от  шумового 
слагаемого  реализации.  Однако,  сохраняя  степень  при- 
ближения, связанную  с пренебрежением  последним  (ква- 
дратичным относительно  %)  членом  в (6.26),  следует  в выра- 
жении (6.29")  для  сохранить  вклад  лишь  от  детерми- 
нированного слагаемого  (6.26).  Тогда  нужно  положить 
при  сіх  > 1 

Г дЧ  («1 йдг) 

= — 

т;>  е.  элементы  матрицы  О равны  произведению  величины 
йт  и смешанной  второй  производной  квадрата  модуля 
функции  неопределенности  в точке,  соответствующей  истин- 
ным значениям  оцениваемых  параметров. 

Учитывая  (6.31),  приходим  к выводу,  что  ошибки 
[см.  (6.30)]  представляют  взвешенные  (с  весами, 
равными  элементам  матрицы,  обратной  0)  суммы  нормаль- 
ных случайных  величин  1,к  с нулевыми  средними  и кова- 
риациями 

?1  {Ш  - - 2 & Ке  Щ,  { Га*  + 


т, 


+ *<» [ 


д'в'к 

ду  (&і , 


-.в* 


+ X (^і>  • • • і О’м) 
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дѴ  (<>і 0М) 


Л 


(6.32) 


При  выводе  формулы  (6.32)  учитываем,  что  для  ком- 
плексной огибающей  /п4  {2і  (/)  (/')}  = 0 для  любых  ( 

и ('  [см.  (5.37')]. 

Отсюда  следует,  во-первых,  что  оценки  бу  в соответствии 
с общей  теорией  асимптотически  (при  (і\  > 1)  нормальны. 
Средние  значения  этих  оценок  равны  [см.  (6.30) ] 

т,  {бу}  - О?,  (6.33) 

т.  е.  оценки  максимального  правдоподобия  (асимптотически 
при  (1‘т  > 1)  несмещенные.  Далее,  элементы  корреляцион- 
ной матрицы  ошибок  равны 

м м 

ті{{Ьк  — Ю(®п  — К)}='2і  У ЯкіЯіпГПііІ^і}-  (6.34) 

і=1  ]—  1 

Найдем  ковариацию  /л,  {^Д  из  (6.32).  Так  как 


т1  [ х (К  ■ • ■ . 'Эи) щ і 

и «і  { | х |2}  = Шт,  то 

тх  «ДД  = 2®  Ке  { х 

. бѵ  (б,,  ...,бм)  , а^(в|, . . . , 0М)  (в! $м) 


, ах (б, бм) \ _ і аѵ((т, ... , бм) 


дЪі 


дЪ 


бб,- 


дві 


бм)бѴ(бі ®м)  , і ч, 

д&^  бб;  г 2 т х 


да  (і;  б(,  . . . , бм)  да  (і;  б4,  . . . , бм) 


бб : 


йі 


_{  Эб;  ОХТ]  -І*^ ѵм=ѵм- 

(6.35) 

Кроме  того,  из  (6.21)  и (6.27)  дифференцированием 
по  б;  и б,-  находим  (следует  иметь  в виду,  что 


дН 

бб; 


бі=<.-вм=*лг 


■ 0 ] 


п Г54'  (бі,  . . .,бм) 
Ке  1 бб; 


Ке{[ 


б2У  (б, бм) 

бб;бб; 


*м=#м 

т 


/ 


= о, 


да  (і\  бі,  . . . , бм) 
бб; 


X 


да  (I;  бі, бм) 


бб; 


] Т І-о. 

бм=»м) 


і,  У — 1 ) ■ • ■ і М. 


(6.36) 


X 

(6.36') 
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Из  (6.26')  следует: 

а2/г(іЭ'1,  . . . , 0м) 
дЪід®^ 


[ 


д*'Ѵ  (дд,  ...,0Д,) 


л_дчг(&1’  ■■■,0м)д'У(ді,  ІГ 

1 Щ Щ ] ’ (6-37) 


откуда,  учитывая  (6.36'),  получаем 
д2Ь  (Оі.  • ■ • . 0м) 


00, 00,- 


#1=®? »м=®м 


= 9 т?р  / Г ^ • ■ • ’ ®м)  дУ  (0ц  - . . , 0М) 

и 00;  00) 

т 

~И 

— Т 

даѴ;  0і Ъм) 


1 ^ да  ((;  0ц  . . .,  0ДІ)  , 

00; 

-т 


X 


00; 


с и 


«І  < % <1  1 


Если  использовать  (6.36'),  то  (6.35)  можно  переписать 
в виде 


пі 


№} - 2# Ке  {[  — 


ѵ ^(01 0Аі)  , 1 Р да  (і-  0ц  . . . , 0ЛІ) 

(30;  +2Т  } МГ~ 

0а  (00ц...,  0^) 


X 


00; 


-Г 

• л 


]< 


<6'37'> 

Сравнивая  (6.37')  с (6.37"),  получаем 
пи 


и {&$;}  = - Ф ’г-дЧ 
ІХЫЪ-"  иТ  00; 00 ; 


»і=<3і «м=й!и 


или,  учитывая  (6.31),  имеем 

тіШ:  ~<2и- 
Подставляя  (6.38')  в (6.34),  находим 

^{(«к-дг)  (о„-о“)} 

м м 

^ 2 ЯіііЯіп0.іі- 
і і і~  1 


(6.38) 


(6.38') 


(6.39) 
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Но  так  как  чи  — элементы  матрицы  О'1,  обратной  0,  то 
из  элементарного  матричного  равенства  СПЧ}  = I 


м 

Чіп0.а 

3=1 


О, 


і ---  п, 

Іфп. 


следует: 

(6.39') 


Соединяя  (6.39)  и (6.39'),  приходим  к окончательной  фор- 
муле, определяющей  любой  из  элементов  корреляционной 
матрицы  ошибок: 

т1  - ЭД)  (#в  - С)}  = - Чип.  (6.40) 

Итак,  с точностью  до  знака  элементы  корреляционной 
матрицы  ошибок  совпадают  с элементами  матрицы,  обрат- 
ной матрице,  составленной  из  смешанных  вторых  произ- 
водных логарифма  ^ отношения  правдоподобия  (которые 
лишь  множителем  отличаются  от  смешанных  производ- 
ных квадрата  модуля  функций  неопределенности)  в точке, 
соответствующей  истинным  значениям  ■§)',  . . .,  % оцени- 
ваемых параметров.  Отсюда  следует,  что  корреляционная 
матрица  ошибок  совпадает  с матрицей,  обратной  информа- 
ционной матрице  Фишера  [см.  (2.98)],  т.  е.  оценки  (6.30) 
совместно  эффективные  (при  4 » 1). 

6.1.4.  Измерение  времени  прихода  сигнала.  В качестве 
первого  примера,  иллюстрирующего  методику  § 6.1.3  полу- 
чения асимптотических  (при  с1\  ->  оо)  оценок  максималь- 
ного правдоподобия,  рассмотрим  узкополосный  сигнал 
вида  *) 


х(/;  А,  ф,  т)  = Л Ве  а (^  — т)  е~1ч>  еш»1,  (6.41) 

в котором  параметр  т может  быть  (следуя  радиолокацион- 
ной терминологии)  назван  временем  прихода  сигнала. 

Функция  неопределенности  такого  сигнала  согласно 
(6.27)  равна 

т 

^{х~хй)  = ~ ^ а(і  — т0)а((  -т)  41,  (6.42) 

-т 


где  т0  — истинное  значение  параметра  т.  Переписывая 
(6.42)  в виде 

Т-та 

^(т-т0)  = 2Г  5 а(0а(/-т+т„  )сі(, 

-Т— То 


*)  а(і)—и(1)е  где  и (і)  и Ф (I) — действительные  функции, 
представляющие  амплитудную  и фазовую  модуляцию  сигнала. 
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замечаем,  что  функция  неопределенности  в этом  случае 
совпадает  с временной  корреляционной  функцией  комплекс- 
ной огибающей  сигнала  (см.  § 4.2  в первой  книге).  Матри- 
ца 0 теперь  состоит  из  одного  элемента,  равного  [см.  (6.31) 
и (6.36)] 

-^ГІ  Ѵ(т-т0)|Ѵ  То  ,2Ке{Ч"(0)-рГ  (0)]®}.  (6.43) 


Введем  энергетический  спектр  огибающей  сигнала  (см.  (4.86) 
в первой  книге) 


Та(со)  = ^-|  ^ а (і)  е~шс1( 
-г 


(6.44) 


Тогда 


Т;(т — т0)  ^ Га  (со)  еіс°1т_т°)  с/со,  (6.45) 


откуда  находим 

оо 

— 2№'  (0)  = ^ СО  Га  (со)  СІСО  - со*, 

— оо 

— 21Т"  (0)  = ~ § со2/7 ц (О))  сісо  - со2*, 


(6.46) 

(6.47) 


где  со*  и со*  — средняя  частота  и второй  момент  энергети- 
ческого спектра  огибающей  сигнала  с учетом  нормиров- 
ки (6.21)  (обозначения  соответствуют  § 8.6.1  первой  книги). 
Подставляя  (6.46)  и (6.47)  в (6.43),  получаем 

[ -дат Г*' 0- *•> !■],„. =»;-»*=  - е*.  №.48) 

где  р2  — среднеквадратическая  девиация  (отклонение  от 
среднего)  частоты  спектра  огибающей.  Величину  р иногда 
принимают  в качестве  количественной  меры  полосы  спектра 
огибающей. 

Так  как  в рассматриваемом  случае  обратная  матрица 

О'1  содержит  только  один  элемент,  равный , то 

ат  щ 

из  (6.30),  (6.30')  и (6.46)  находим  следующее  асимптотиче- 
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ское  выражение  (при  й\  > 1)  оценки  т максимального 
правдоподобия  времени  прихода  сигнала: 


2 

Р2 


Ке  |е*ч)° 


т — т0  = 
т 


1 


2Т  Ап 


п 


да  ( і — т) 


дх 


|т=-т0 


— г'со*а(7  — т0)  | г(1)йі)  . (6.49) 

Эта  оценка  несмещенная,  а ее  дисперсия  согласно  (6.40) 
равна 


М2  {т} 


4Р2  • 


(6.50) 


При  симметричном  спектре  огибающей  со*  = 0 выраже- 
ние (6.49)  можно  переписать  в виде 


да  (і  — т) 


■ т0  = А ре  Г е‘ф°  - 1 С ЁВІ 
0 ш;  I 2 7’ л о Л фт 

* _т 


Т=Т0 


■(/)*].  (6.49') 


Из  (6.23')  и (6.23")  находим  также  оценки  амплитуды 
и фазы: 

т 

Л = | ’ 


2^-  ^ а (/  — х)г(і)йі 
-т 


Ігп  а (I — т)  г (і)  сіі 

Ф = агсі§ ^ 

Ке  ^ а (і  — т)  г (і)  (11 
-Т 


(6.51) 

(6.51') 


в которых  т подставляется  из  (6.49). 

6.1.5.  Совместное  измерение  времени  прихода  и доппле- 
ровского смещения  частот.  В качестве  второй  иллюстрации 
материала  § 6.1.3  рассмотрим  узкополосный  сигнал  более 
сложного  вида,  чем  (6.41): 

8(1]  А,  ф,  т,  П)=^ЛКеа(7  — т)е-і<Ре’я((-т)еіио((-т).  (6.52) 


Здесь,  как  и в (6.41),  параметр  т — время  прихода  сигнала,  а 

П - (0)  — <в0 


— смещение  частоты,  которое  назовем  допплеровским.  За- 
дача состоит  в совместной  оценке  параметров  т и И. 


27—197 
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Функция  неопределенности  *)  сигнала  (6.52)  равна 
в соответствии  с (6.27) 

т 

хѴ{х  — т0,  О — й0)  = 2^г  ^ а((  — т0)  а (і  — т)  ( 

- т 

X е-іОо('-То)  егО(;-т)  (Ц  _ е«2(т-т0)  у 
Т- т0 

х2^  § а(і)а(і  — т + т0)е’<а-йо)'Л.  (6.53) 

- Т— То 

Вводя  спектр  огибающей  сигнала 

т 

Іт  (м)  = ^ а (/)  е~іш(  Л, 

-т 

можно  функцию  неопределенности  переписать  в виде 
Чг(т  — т0,  И — И0)  = 

оо 

= еШ(Т_То>  4^Г  5 /г  и Іт  (СО  - & + Йо)  е*“(^о)  Ли.  (6.54) 

— с» 

Элементы  матрицы  О размером  2x2  равны: 

<?н  = -§^2  I (т  — то,  й — Оо)  |2т=т0,  й=п0>  (6-55) 

<?12  = С?21  = Лт  I ЧГ  (Т  ~ то>  й — Йо)  |2Т=Т0,  я=п0,  (6.55') 

СІ22  = сіт-^02  I ^ (Т~ Т0>  й—  й0)  ||=ТОі  й=Яо.  (6.55") 
Из  (6.54)  и (6.48)  следует,  что 

<2н  = (Гт  -&Г  I ѵ (т  - То,  0)  |и0  = - ЛЦУ.  (6.56) 
Величину  <Э2 2 находим  из  (6.53): 

о22=^— іт  й-и0)іь=п„= 

т 

= ^т[(~  5 *|а(*-т0)|яЛ)2- 
-т 
т 

--^Г  I і2\а(і-Ч)\2(і(].  (6.57) 

-т 

*)  Функция  4Г  (т,  О)  двух  переменных  (времени  и частоты) 
была  впервые  введена  Вудвордом  как  функция  неопределенности  [2]. 
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Вводя  по  аналогии  с со*  и со2  среднее  время  і*  и второй 
момент  і\  сигнала  и обозначая  среднеквадратическую  дли- 
тельность сигнала 

г 

а2  = і\  — (і*)2  = -^г  § і2\а(і  — т0)  |2  ді  — 

-Т 

т 

— (-^уг  § і\а(і  — Т°)|2Л)2,  (6.58) 

-г 

перепишем  (6.57)  в виде 

(Э22=  —дтсс2. 

Из  (6.53)  и (6.54)  находим  также 

оо  Т 

<3і2  = ^т{-^  5 ^'(“)А °--ТГ  5 *И*-То)|*Л  + 

— оо  — Г 

т 

+ ~2 у-  § [а  (I  — т0)  а'  (/  — т0)  — 

-т 

— а (і  — т0)  а'  ( і — т0)]  іді  | 
или 

С?іа=  -сГт(аЧ*-Ѵ),  (6.59) 

где  через  обозначена  безразмерная  величина,  характе- 
ризующая частотную  модуляцию  сигнала  *), 

т 

7,*  = Іт^т-  ^ іа(і  — %0)а'(і  — т0)(іі.  (6.60) 

-г 

Таким  образом,  матрица  О имеет  следующий  вид: 


(Х  = сІ 


К 


СО’ 


-Р2 

Ч*  + Х* 


оЛ*  + Л* 


— а* 


\ 


(6.61) 


*)  Действительно,  если  а ( I ) 


X 


4Ф(0 

41 


41. 


т 

и (/)  еіф<|),  то  Л,*=-уГ-  ^ щ2  (0  X 

-т 
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Нетрудно  найти  обратную  матрицу.  Вычисляя  детерми- 
нант матрицы 


беі  0 = [а2§2  — (со*/*  — А*)2],  (6.62) 

находим  корреляционную  матрицу  ошибок  измерения  вре- 
мени прихода  и допплерового  сдвига  частоты 

0_!  1 / —ОС2  СО*/*— А*\ 

(І4Т[ а2Р2  — (со*/*  — Л*)2)2  ^ со*/* А*  р2  )'  (6'^) 


На  главной  диагонали  матрицы  0 1 находятся  дисперсии 
оценок  времени  прихода  и допплерова  сдвига  частоты, 
а на  побочнон  — ковариация  этих  оценок  (с  точностью  до 
знака;  см.  (6.40)). 

Можно  несколько  упростить  формулу  (6.63),  если  над- 
лежащим выбором  начала  координат  в плоскости  вре- 
мя — частота  обратить  в нуль  величины  /*  и со*.  Тогда 


(6.64) 

Используя  (6.30),  (6.30'),  (6.64),  находим  следующее 
асимптотическое  выражение  (при  <і\  1)  совместных  оце- 

нок времени  прихода  сигнала  и допплерова  сдвига  частоты: 


О 


1 


(ы|/|  — А*2)2 


С 

Л* 


■Л* 


со: 


т — Т0: 


<о%і%  — X*2 


Ве  |е* 


егФо 


2ТЛ„ 


X 


т=т0 


ік*і  а 


(г1  — т0)] 


е~шо('“то)  г (/)  с//|  , 
(6.65) 


У Уо  со|/|-А*2  {е'Ф°  2 ГЛ  о • 

X I [/,*  йа  {І~Х) 


дх 


-т 


Т=То 


т0)]  у: 


X е-Шо«-т0)2  | . (6.65') 
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В том  случае,  когда  частотная  модуляция  сигнала 
отсутствует  (А*  = 0),  оценка  времени  прихода  и оценка 
допплеровского  сдвига  частоты  становятся  некоррелиро- 
ванными, а их  дисперсии  равны  [см.  (6.40),  а также  (6.48)] 


М2  {т} 


1 


М2  {О}  = 


1 


(6.65") 


6.2.  БАЙЕСОВСКИЕ  ОЦЕНКИ  СЛУЧАЙНЫХ 
ПАРАМЕТРОВ  СИГНАЛА 

6.2.1.  Совместные  оценки  амплитуды  и фазы.  Переходим 
к совместным  оценкам  случайных  параметров  квазидетер- 
минированного  сигнала  по  наблюдаемой  реализации  адди- 
тивной смеси  этого  сигнала  с нормальным  стационарным 
шумом,  среднее  значение  которого  равно  нулю,  а корре- 
ляционная функция  равна  В (т). 

Из  общей  теории  следует,  что  при  квадратичной  функ- 
ции потерь  (а  иногда  и при  более  общих  условиях;  см. 
§ 3.6.4)  байесовские  оценки  совокупности  зависимых  пара- 
метров случайного  процесса  представляют  условные  сред- 
ние этих  параметров,  когда  наблюдается  реализация  х (() 
процесса  на  некотором  интервале  времени  [см. 
(3.186)]. 

Байесовская  оценка  случайной  амплитуды  а квазиде- 
терминированного  сигнала  аз  (/)  в аддитивном  нормальном 
шуме  была  подробно  рассмотрена  в § 3.6.3.  Там  было 
показано,  что  при  нормальном  распределении  параметра 
указанная  оценка  представляет  среднее  взвешенное  двух 
величин:  априорного  среднего  и оценки  максимального 
правдоподобия  (исследованной  в § 3.6.2). 

Предположим  теперь,  что  сигнал  представляет  узкопо- 
лосный квазидетерминированный  случайный  процесс  5 (і)  = 
= а соз  (сО(Т  — ср)  известной  частоты  со0,  амплитуда  а 
и фаза  ф которого  случайны  с известным  априорным  рас- 
пределением пу2  (а,  ф).  Нормальный  шум  также  узкополос- 
ный. Воспользовавшись  комплексными  представлениями 
реализации  х (і)  и сигнала  5 (() 

х (()  — Ке  г (/)  еім°(,  з(і;  а,  ф)  = Кеас^е’100',  (6.66) 
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запишем  выражение  функционала  правдоподобия  в виде 
[см.  (3.78)  и (5.54)] 

т 

1[г{і)\а,  <р]=ехр[Ве  ^ В (7;  а,  ср)  гф7)  е~іио*  уЛ  х 
т 

хехр[~”Г^е  § ѴѴ>  а'  ср)  е-*“о(  е*ф  йі\ , (6.67) 
— т 

где  V (7;  а,  ср)  — решение  интегрального  уравнения 
г 

§ Вг(і  — и)Ѵ  (и;  а,  ср)  сіи  = а е~^  еіюо',  (6.67') 
-г 

Вводя  функцию  Т/(7)  = Ѵ(7;  а,  ф)  ае*ч>,  перепишем  (6.67) 
и (6.67')  следующим  образом: 

т 

1 I*  (01  я.  ФІ  = ехр  [а  Ве  ^ и (/)  7(7)  е-ш»і  х 

-г 


где 


т 

хехр[—  -^-Ве  § 7/  (/)  е_іш°'  = 

— Т 

т 


= ехр 


1 ^7/  (/)?(/)  е-  ’г°о'  & 
-т 

т 

X ехр  [^  — — Ве  ^ 7/(7) 
-т 


С05  (ф  фг)  "| 
е-*“о<  л] 


X 

(6.68) 


т 

Гт  $ Ц (1)ТЩ  е~іа°1  аі 

Фг  = агсі§  — ^ 

Ке  )‘  7/(0  Г(7)  сіі 


а 7/ (7)  — решение  интегрального  уравнения 
т 

§ Вг((  — у)и{у)с1у  = еі^1,  1 7 1 < Г, 
-т 


(6.68') 


(6.69) 
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где  Вг  (т)  — комплексная  огибающая  корреляционной  функ- 
ции шума  [см.  (5.35')]. 

Введем  по  аналогии  с § 5.2.2  обозначения: 
т т 

гт  = оІ  \ § 7/  (/)  /У  (у)  г(()  г (у)  е-’“°('-у)  Аі  йу,  (6.70) 
-т  -т 

т 

й2т  = о1  § ЩГ)  еіи°'  сіі  = 

-т 

т т 

= оІ  5 5 Вг{1-у)и(у)ТЩйу<11> 0,  (6.71) 

-т  -т 


где  Ста  — средний  квадрат  амплитуды. 

Используя  (6.68)  и'  введенные  обозначения,  находим 
байесовские  оценки  амплитуды  и фазы  узкополосного 
сигнала  в аддитивном  нормальном  узкополосном  шуме: 

а = гпх  {а  | г (/)}  = 


^ аи>2  ( а , ф)  I [г  ( I ) | а,  ф]  Нф  На 

— оо  —Л 

$ Щ (а,  ф)  I [г  (0  I а,  ф]  Нф  На 


а24а 


С*  С*  2 а2  Г ялр  1 

\ \ аш2  (а,  ф)  е а ехр  соз  (ф  — Уф  На 

— оо  —Л 

а2сІт 

пп  ТТ  -* 


, (6.72) 


^ ^ о)2  (а,  ф)е  “аа  ехр  соз  (ф  — г[)т) ^ Нф  На 


Ф = {Ф  I 2 (/)} 

а.ЯсІ'р 


^ ^ ф^2  (а>  ф)  е “а“  ехр  сое  (ф  — фт) ^ Нф  На 


ага 


. (6.73) 


§ ^ ію2  (а,  ф)  е "°а  ехр  [-^-соз  (ф  — фт)]  Нф  На 
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Если  аддитивный  шум  белый  с интенсивностью  ІѴ0, 
то  решение  интегрального  уравнения  (6.69)  равно  ІІ(()  = 

= ^ еіМ0(  и тогда  величины  гт  и йт  в приведенных  фор- 
мулах равны  [см.  (6.70)  и (6.71)] 

т 

-г 

= ^[(  I Л(1)Ш)2+[  I С(0Л)"]Т,  (6.74) 

— т -Т 


где  Л ({)  и С (/)  — квадратурные  составляющие  наблюдаемой 
реализации  (см.  § 5.2.3); 


(1гг 


2ТоІ 

Л^о 


(6.74') 


Если  фаза  распределена  равномерно  и независима 
от  амплитуды,  то 


а = оа 


ос  гіГ*2 

I ХЩ  (аах)  /0  (гтх)  е 2 йх 

- СО 

ац  (стах)  /0  (ггх)  е 2 ах 


(6.75) 


°°  л 

277  § щ(оах)е  2 ( § фехр  [гг*  соз  (ф  — т|)г)]  а<р^йх 

1 — оо  —я 

ф = 

ОО 

§ Щ (аах)  /0  (гтх)  е 2 йх 

— ОО 

(6.75') 

где  Ш]  (л:)  — функция  распределения  амплитуды. 

^Для  сильного  сигнала  байесовская  оценка  (6.75)  ампли- 
туды сигнала  может  быть  преобразована  путем  использова- 
ния асимптотической  формулы  для  бесселевой  функции 
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(см.,  например,  стр.  123  в первой  книге)  к виду 


сіх 


— с» 


§ Ѵхщ  (оах)  ехр  [ — ~ (л:  — ~^сіх 


и>і  (во.*)  ехр 


[-т  (*-*■)> 


При  <іт  > 1 функция  ехр  [Х~^~У~\  близ- 

ка к дельта-функции.  Поэтому  при  условии,  что  плот- 
ность щ (оах)  непрерывна  в окрестности  точки  х = 

Т 'Г  О 

= -ф-  и не  равна  нулю  в этой  точке,  получаем,  используя 
ат 

фильтрующее  свойство  дельта-функции  (см.  приложение  III 
в первой  книге),  следующую  асимптотическую  формулу: 


а — 


Т 

(І  гр 


Т 

I } V (0  2 (/)  йі\ 

-Т 

т т 

) $ Вг(і  — у)Ѵ(у)и{і)йуйІ 

-т  -т 


(6.76) 


Аналогично  получаем  асимптотическую  формулу  для 
оценки  фазы  при  йт  > 1 : 

т 

1т  $ и (0  г (/)  еі(0°'  сіі 

Ф ~ Фг  - агсі§ . (6.76') 

Ке  $ ЩТ)  г (0  еіш°(  0.1 
-т 

Таким  образом,  байесовские  оценки  амплитуды  и фазы 
совпадают  с оценками  максимального  правдоподобия  этих 
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параметров  [см.  (6.5)  и (6.5')] 


т 


а ~ 

1 

2 Т 

1 

г (1)  сП  | , 

(6.76") 

-т 

г 

1 гп 

\ г (/)  сП 

Ф — агсі§ 

-т 

(6.76") 

Т ’ 

Ке 

) г (()  сП 

-Т 


как  и в формулах  (6.9)  и (6.7). 

6.2.2.  Совместные  оценки  конечного  числа  параметров 
квазидетерминированного  сигнала.  Рассмотрим  задачу  об 
определении  совместных  байесовских  оценок  параметров 
квазидетерминированного  сигнала  в более  общей,  чем 
в предыдущем  разделе,  форме  (см.  § 3.6.6).  Пусть  сигнал 
заданной  формы  зависит  от  пг  случайных  параметров, 
и предположим,  что  он  может  быть  представлен  в виде 

5 (/;  Ят)  = Д «.;5;  (0,  (6.77) 


где  (()  — известные  функции,  а Яд  — случайные  пара- 
метры, совместное  распределение  которых  задано  распре- 
делением и>т  (Од,  . . .,  Ят).  Наблюдается  на  интервале 
(-Т,  Т)  реализация  х ( I ) суммы  5 ((;  Яь  . . .,  Ят)  и нор- 
мального случайного  процесса  с нулевым  средним  и извест- 
ной корреляционной  функцией  В (и,  и).  Необходимо  найти 
байесовские  оценки  параметров  -Оу,  . . .,  Ят. 

Логарифм  функционала  отношения  правдоподобия  при 
фиксированных  Я,,  . . .,  Ят  в рассматриваемом  случае 
в соответствии  с (3.157)  равен 


1п  / [х  (/)  | Я4,  . . .,Ят]  = 

і/(/;  Оі,  ...,0т)  [*(/)-!  5 (/;  Я„  ...,Ят)]  сП , (6.78) 


где  V (і;  дц  Ят)  — решение  интегрального  уравнения 
т 

§ В{{,  и)  V (и;  Яд,  . . . , &,,,)  сіи  = 

-г 


= 5(/;  Яц  . . .,Ят),  |/|<Т. 
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(6.78') 


Подставляя  (6.77)  в (6.78'),  заменим  (6.78')  системой  урав- 
нений 

т 

^ В (/,  и)  Ѵі  (и)  йи  = &і  {(),  і=1,...,т, 

_г  (6.79) 

причем 

Ѵ(1-  й4,  ...,вт)=  2 ^Ѵ;(0-  (6.80) 

;=  і 

Выражение  (6.78)  может  быть  теперь  переписано  в виде 

т Т 

\ПІ  [х{1)  | ■&!,  ...,  дт]=  2 ^ х(І)Х 

3=1  -т 

771  771  Т 

хѴ](і)сі( — і-  2 2^ь-  5 

1=1  3=1  -г 

или  в обозначениях  (3.206),  (3.206') 

га 

1п 7 [Л-  (/)  | Ощ  . . . , §,„]  = 2 Ъ]Хт}  — 

3=1 

771  771 

-4-2  ^ (6-81) 

1=1  3=1 


Теперь,  используя  (3.186),  можно  записать  общее  выра- 
жение байесовских  оценок  параметров  при  квадратичной 
функции  потерь: 

Од  = ш4  {Од  | х (()}  = 

со  сю  771 

= [ § § Фщ'т(0т Одг)  ехр  (2  ®і*т}  — 

— оо  — оо  ]=  1 


оо  оо 


42  2 ЪОрти)  <н>1.-.ют  ] X 

і=1  з=1 

оо  т 

*[$  \ ит(ді Ощ)  ехр  (2 

— оо  — оо  3 = 1 

771  771 

— тт  ^ 2 ...  Д0т  ] , 


г=1  з=1 


(6.82) 


к — 1,  . . . , пг, 
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или  в векторной  форме 

^ да)  (д)  ехр  ^д'хт  — д'5Тд)  с/д 


с0 


^ ю (д)  ехр  ^д'хг — — д'5тд|  с/д 


. (6.82') 


Если  аддитивный  шум  белый,  то  1/г  (/)  = ——$*  (/)  и 


Хті  = 177  5 


Л, 


-г 

т 


&ті}  = -^  ^ Зі{1)5і{І)сІ{. 
-т 


(6.83) 

(6.84) 


В том  случае,  когда  функции  $}((),  /=1 
в (6.77)  ортогональны  на  интервале  ( — 7\  Т ), 


(Л. 
о і /ѵ0 

5ги  — I и 


, 1 = 1, 


(6.85) 


^ 0,  і Ф /, 

где  Дг  — энергия  сигнала  5;  (і)  на  интервале  наблюдения, 

т 

Ег=  ^ 5 (6.86) 

С.' 

-Т 

Для  этого  частного  случая  формула  (6.82)  значительно 
упрощается: 

со  со 

!)  (ді,...,дт)  х 

— оо  — оо 


І=1 

оо  оо 


І=1 


N 0х  ті 

)2]  4д(. 

..  Мю]  X 

Е) 

Щп 

(*і 

0т)  X 

(д; 

N охТ] 

\ 2П 

1_1 

Е) 

) ]4д1.. 

• 4дт  ] 

(6.87) 
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■»  оо,  / I,  т (сильный  сигнал), 


Е і • • ■ Ет 

(2л.Ѵ0)т/2 


т 


3=1 


Л^0*тз  \ 2-1 


II 6 (®; 


3=1 


Но ХТ]  ^ 


Тогда,  используя  фильтрующее  свойство  дельта-функ- 
ции, из  (6.87)  находим  при  0 асимптотические 
байесовские  оценки  параметров  сильного  сигнала: 
т 


ьк~ 


Хтк 
Ек/Н  о 


) * (0  зк  (О  <Ф 

-Т 

Т 

X 

-г 


к - 1 , . . . , гп.  (6.88) 


Полученная  оценка  Фа  совпадает  с оценкой  максимального 
правдоподобия  параметра  Фа  сигнала  ФА5а  (/)  [см.  (3.168)]. 

Можно  показать  [13],  что  и в общем  случае  из  (6.82) 
при  сильном  сигнале  имеет  место  формула  *) 

Ф = хт$7\  (6.89) 


т.  е.  байесовская  оценка  сходится  к оценке  максимального 
правдоподобия  [см.  (3.208)].  Конечно,  формула  (6.88) 
является  частным  случаем  (6.89),  когда  шум  белый  и функ- 
ции 5;  (/)  ортогональны. 

6.2.3.  Оценка  стационарного  случайного  сигнала  на  фоне 
шума.  Рассмотрим  узкополосный  сигнал,  представляющий 
нормальный  стационарный  случайный  процесс  с нулевым 
средним  и корреляционной  функцией  В3  (т).  Запишем  выра- 
жение этого  сигнала  через  комплексную  огибающую  (см. 
§ 5.2.2) 

5 (/)  = Ре  23  (/)  еіи°'  (6.90) 

и воспользуемся  ортогональным  разложением  этой  огибаю- 
щей [см.  (3.36)] 


г*  (0 


оо 

У.  Фа 


(6.91) 


*)  Аналогичными  асимптотическими  свойствами  байесовские 
оценки  обладают  не  только  для  квадратичной  функции  потерь, 
но  и для  функций  потерь  более  общего  вида  [14]. 
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где  Хк  и у к {()  — собственные  числа  и собственные  функ- 
ции линейного  однородного  интегрального  уравнения 

т 

Ф(0  = Х ^ В^8(І-У)Ч'(У)^У,  (6.92) 

-т 

и Вг^  (т)  — комплексная  огибающая  корреляционной  функ- 
ции сигнала.  Координаты  комплексной  огибающей  сигнала 


= ѴК  ^ г8(/)фА(/)Л,  к=  1,2,...,  (6.92') 

-т 


некоррелированны.  В силу  нормального  распределения 
действительная  ак  и мнимая  (3  к части  ^й  = “й  + также 
и нормальны,  причем  [см.  (5.38)  — (5.38")] 

Щ {сск}  = Ші  {|3,,}  = пгі  {а,ф;}  = 0 (6.93) 

для  любых  к и I, 

Ші  {оцор}  = гпі  {РйР/}  0,  кфі,  (6.93') 

Щ {а\}  = т,  {К}  = у . (6.93") 


Задача  состоит  в определении  байесовских  оценок  коор- 
динат 'в’й  (или  ак  и ]3й),  когда  наблюдается  на  интервале 
(— Т,  Т)  реализация  х (()  суммы  сигнала  5 (і)  и стационар- 
ного узкополосного  нормального  шума  с корреляционной 
функцией  В (т). 

Ограничиваясь  ш первыми  членами  разложения  (6.91) 
и вводя  комплексную  огибающую  реализации  х (I)  -- 
= Кег  (і)  еіт»',  запишем  функционал  отношения  правдо- 
подобия для  реализации  г (/)  при  фиксированных  'Од,  . . . 

■ ■ •,  &т  [см.  (5.54)]: 

т 

I [г  (/)  I іЭ'!,  . . . , г1}™]  = ехр  |^Ке  ^ V (/;  . . . , \9т)  х 

-Т 


X г(0^]  ехр  [ — -^-Ке  2 

Й=1 


■ , йт)  X 


X фй 
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(6.94) 


где  V (і\  От)  определяется  из  неоднородного  линей- 

ного интегрального  уравнения 


§ Вг  (( — и)Ѵ  (и;  тЭ-1(  . . . , і)т)  сіи 


V т<Т. 


Ь=1 


ѵи 


(6.94') 


Уравнение  (6.94)  можно  заменить  системой  уравнений 
[см.  (6.79)] 
т 


\ Ві(і-и)Ѵі(и)4и  = -2фг , |/|<7\  (6.95) 

V ^ і 


-Т 


причем 


Ѵ(и;  ...,Ю=  2 Ъ}Ѵі{і). 

і=  1 


(6.96) 


Подставляя  (6.96)  в (6.94),  перепишем  функционал  отно- 
шения правдоподобия  в виде 

/ [г(0|  О-!,  . . . , й-,0  = 

7П  Т 

= ехр  |М  {};  ^ Ѵ}(і)  7(0  Л]  х 
з=і  -т 

т т „ тт-  Т 

х ехр  [ - 1 Ке  2 V -у=  I МО  Фі  (0  сіі]  . (6.97) 


Введем  следующие  обозначения: 

г 

Хті  = Ке  ^ V і (/)  2 (0  йі, 
-т 
т 

Уті=  Іт  § V і (0  2 (0  СІІ , 
-т 
т 

Зги  = Ке  ^ МОФі  (0  СІІ, 
-т 
т 

Ітіз—  Іт  § М0Фі(0^- 


-Т 


(6.98) 
(6.98') 

(6.99) 

(6.99') 
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Используя  указанные  обозначения,  из  (6.97)  получим 

т 

1 [2  (О  I «1.  Рі.  ■ ■ ■ . о™,  М = ехр  | ^ (а.іХті  - $іут])  - 

;=і 


гп  т 

1 \3 


2 2 -1/г-  I (акг-^і  + Р/іРу)  5 гкі 


2 іі  Й ѵ** 


(РьКу  — «аРу) /Гйу]|  , (6.]00) 

где  ай  + »рй  = #А,  /ъ.  1,  . . . , т. 

Из  (6.93)  -(6.93")  следует,  что  2т  координат  сигнала 
*’  Рі’  • ’ а«’  Ѵт  представляют  совокупность  2т  незави 

симых  нормальных  случайных  величин',  для  каждой  из  ко 

образомРеДНее  РаВН°  НУЛЮ’  3 ДИСпеРсия  Равна  1/2  Таким 


ш2 т (^і > Рі»  • • • , рш)  е 


- 2 <«а+р!> 
к=і  (6.101) 


Подставляя  (6.100)  и (6.101)  в (6.82),  получим  байесов- 
ские оценки  координат  сигнала  з(()  [см.  (6.90)1  при ™ 
Ратичной  функции  потерь  Л Р Д" 


ОО  ОО 


«А 


1 с5  т 

:К^Л  5 сс^ехр  { - ^ («?  + Р;)Ч 

— 00  — 00  у 1 


III  ш. 

I - 2 - Рл/тѵ)  - 1 у ѵ і [(а.„.  + р,р .)  5 

^ ; іі  і 1 Л; 

-(Рі«у  — а/Ру)  /т,у|  | Лос,  с/р,  . . . (іа,и  Лр,„,  (6.102) 

І 5 5 Рйехр{-2(«?-ЬР?)  + 

— 00  — оо  ^ | 

?п  Ш 771 

- 2 (“^Г7-  РЛ/г,)  - у 2 2 ЧТт-  К«І«7  4 Р/Р,)  57,у  - 

’=1  і=і  Ы Р ^ 

- (Р,а,  — агРу)  /Гіу]|  Ла,  Лр,  . . .,  сІат  Лр,„,  (6.102') 
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где 


Кт  ---  § • • • § ехр  | — V (а?  4-  Р5)  4 2 К* ті  — РЛ/тз) 


— сю  — оо 

771  771 


і=  1 


і=1 


- у >|  >1  47=  [(«*“>■ + РгР;)5т<7-  (Рі«7  — «гР;)  ^О'])  X 

і=із'=і  ^ ‘ 

X гіа4  <ір,  ...  Ла„гг/рт.  (6.103) 

Если  аддитивный  шум  белый,  то  из  (6.95)  следует,  что 
Ѵі{і)  = —\7Туі{і),  і=  1 щ,  (6.104) 

1\0  У Кі 

где  Л/0 — спектральная  плотность  шума.  Тогда  из  (6.98) 
и (6.98')  находим 


Хті  = ..  Ке  \ гр,  (/)  2 (/)  ей, 

О V Щ 


(6.105) 


-г 

т 


Угі  - 


Л/0  і'  ’к] 


:ІШ  \’  1Р;(/)2(/)Л,  . • (6.105') 

; «) 


-Г 


а из  (6.99),  (6.99')  в силу  ортогональности  и нормировки 
собственных  функций  на  интервале  наблюдения  ( — Т,  Т) 

*™-3 ѵУ5ІІ<р,<0|,Л=^к’  <6ло6> 

5г<з  = 0,  і ф /,  Ітц  — 0 для  любых  г и /.  (6.106') 

В этом  случае  выражения  (6. 102)  — (6. 103)  значительно 
упрощаются,  причем  переменные  интегрирования  разде- 
ляются. Вычислим  сначала  интеграл  Кт '■ 

771  ОО  0 

Кт  П 5 ехР  ( - “?  ■ + а1*ТІ  ~ ЩГ0  ) X 


І=і  — оо 
771  оо 


хЦ  5 ехр(-Р?  + Р^г7-2з&)^ 


І=1 


II- 

3=1  2 


2л 


1 


ехр 


Я 7-/Ѵ 


3/ѵ0 


ХТІ  + УТІ 

(2  к]щ) 


(6.107) 


Легко  видеть,  что  в рассматриваемом  частном  случае  белого 
шума  в силу  разделения  переменных  интегрирования 
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в (6.102)  выражение  оценки  ак  может  быть  представлено 
в виде 


а.к. 


Кт—  1 


ехр 


— ХТк 


2 (2+Лдіѵ0) 


X / а*  - 


*гд 


§ «дехр 
сіак, 


2 + 


ЯдЛ^ о ѵ 


X 


24 


ЯдЛф 


(6.108) 


где  Дт_і  получается  из  (6. 107),  если  в этой  формуле  опустить 

один  сомножитель  У 2л  ( 2 + Ѵз  ехр  Г — -ХТк 1 

..  V 1 ЯА/Ѵ0/  1 |_2(2  + 1АдЛ10)_і  • 

Наконец,  вычисляя  интеграл  в (6.108),  после  очевидных 
сокращений  получим 


аЛ 


хТк 


Аналогично 


АдУѴ  о 


Утк 


к = 1 , . . . , т. 


к = 1 , . . . , щ. 


(6.109) 


(6.109') 


ЯдЛф 


Из  (6.109)  и (6.109'),  учитывая  (6.98),  (6.98')  и (6.10-1), 
находим 

т 

6д  = — V 5 Ѵ,(()7{Г)сіі  = 


2 + 


ЯдЛ'  о 


-т 


У Яд 


т 


I 42Л^оЯд 


§ Фд(0  г(()сІ(  (6.110) 


и далее,  подставляя  (6.110)  в (6.91),  получаем  оценку 
комплексной  огибающей  сигнала 


2.,  (/)  = Шп  У т~)_  2/ѵ0Х/г  № § ф/!  2 (“) сіи-  (6-111) 

ГП~>0°  к=  1 -Т 


Вводя  функцию 


Л(Дц)= 


Фд  (0  ФД  (и) 


Д=1 


2Л'-Яд  ’ 


(6.112) 
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(6.113) 


запишем  (6.111)  в виде 

т 

г8  (0  ~ ^ /г  (/,  г/)  г (и)  сіи, 

- т 

откуда  находим  байесовскую  оценку  сигнала 
а (()  = Не  г8  (/)  еі0)о'  = 
г 

= Не  еІЬ)о'  ^ к ((,  и)  г (и)  сіи,  |1|<7\  (6.114) 

-г 

В выражении  (6.114)  функция  к(і,  и)  определяется 
априорными  сведениями  о корреляционной  функции  сигна- 
ла и спектральной  плотности  шума,  а г (и)  — комплексная 
огибающая  реализации  на  интервале  наблюдения. 

6.2.4.  Оценки  случайных  процессов,  модулирующих  высо- 
кочастотную несущую,  на  фоне  аддитивного  белого  шума. 
Предположим  теперь,  что  сигнал  5 (/)  представляет  гармо- 
ническую несущую  частоты  со0,  модулированную  по  ампли- 
туде и по  фазе  (или  по  частоте)  случайными  процессами 
а (I)  и і|)  (/).  Задача  состоит  в том,  чтобы  оценить  значения 
этих  модулирующих  процессов  по  реализации  суммы  сиг- 
нала и аддитивного  нормального  шума,  наблюдаемой 
на  интервале  ( — Т,  Т).  Чтобы  не  делать  изложение  слиш- 
ком громоздким,  ограничимся  исследованием  двух  частных 
случаев,  когда  сигнал  представляет  амплитудно-модули- 
рованную  или  фазомодулированную  несущую,  хотя  исполь- 
зуемый метод  решения  задачи  может  быть  использован 
и в более  общих  случаях. 

Случай  амплитудно-модулированного  сигнала  сводится 
к задаче,  рассмотренной  в § 6.2.2.  Действительно,  пусть 

5 (/)  = а (/)  соз  (со0^  -ф  фо).  (6.115) 

Воспользовавшись  ортогональным  разложением  модулирую- 
щей функции 

оо 

»(')=2  ъШ. 

к=  1 * к 

где  и фь  (і)  — собственные  числа  и собственные  функции 
линейного  интегрального  уравнения 
т 

ц>{1)  = 1 § Ва  {і  — у)  ф (у)  сіу,  |*|<7\ 

-т 
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представим  5 (/)  в виде  суммы,  не  отличающейся  по  виду 
от  (6.77), 


причем 


5(/) 


оо 


2 

;=1 


(6.116) 


5;  (0 


Ф;  (0 

Уу 


с оз  (сѴ  + фо)- 


(6.116') 


Задача  сводится  теперь  к совместной  оценке  координат  ак 
по  методике,  указанной  в § 6.2.2. 

Рассмотрим  более  подробно  тот  случай,  когда  несущая 
Л0со5соо^  модулирована  по  фазе  стационарным  нормаль- 
ным случайным  процессом  ф (/)  с нулевым  средним  и кор- 
реляционной функцией  В ф (т),  медленно  меняющейся 
по  сравнению  с соз  сй0т,  а аддитивный  нормальный  шум  — 
белый  со  спектральной  интенсивностью  уѴ0  (и  не  зависит 
от  сигнала). 

Если  воспользоваться  ортогональным  разложением  мо- 
дулирующей функции  на  интервале  наблюдения 


ф (/)  = 


2 у 

і=і 


Фь  (0 

Уу  ’ 


*\<т , 


(6.117) 


где  X к и (/.)  — собственные  числа  и собственные  функции 
линейного  интегрального  уравнения 


Ф (0  = ^ (/  — у)  ф (у)  сіу,  \(\<Т,  (6.117') 

-т 


то  сигнал,  представляющий  модулированную  по  фазе  несу- 
щую, можно  представить  в виде 


з(/)  = Л0  соз  [со0^  У 2 У* 

А=1 


щ (0  1 

уц-і  ’ 


(6.118) 


где  фА  — независимые  нормальные  случайные  величины 
с нулевыми  средними  и единичными  дисперсиями.  Кон- 
станта кф  определяет  наклон  линейной  характеристики 
фазового  модулятора.  Используя  предположение,  что  адди- 
тивный нормальный  шум  белый,  запишем  для  рассматри- 
ваемого случая  логарифм  функционала  отношения  правдо- 
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подобия  [см.  (6.78)  и (6.78')],  когда  наблюдается  реализа- 
ция х (/)  на  интервале  (—Г,  Т ): 

т 

1п  / [Л'  (і)  | яр,,  . . . , 1|5т,  . . . ] = ^ 5 (/)  X 

0 -т 


X [*(/)- {*(/)]  Л = А 5 х(0х 

-Т 


X С 08 


[со0/  + *ф2  Л 


1 

2^о 


т 

^ «2(0^. 

-Т 


и,  пренебрегая  в последнем  слагаемом  интегралом  от  быстро 
изменяющейся  функции  соз  [2со0^  + 2ф  (/)],  получим 


т 

Іп/ИОИі,  •••-  Фт,  = 5 Х (О  X 

-Т 


Хсоз[со о^  + *ф  2^^]  (6.119) 

Тогда  байесовские  оценки  координат  модулирующей 
функции  при  квадратичной  функции  потерь  могут  быть 
записаны  следующим  образом  *): 


ОО  оо 


5 Т*е  і 1 ехр{А-  ^ * (О  X 

— ОО  — СЮ  Т 

00 

X со5  [щі  + ц 2 ^ ^2]  а | ЛЬ  . . . ау,п  . . . ] X 

оо 

1 , 2 

00  “ 2л  Т 

* Г !■■■$•  ,=‘  е"р{-^- 5'М х 

— ОО  — ОО  — Т 


(6.120) 


ХСО5р)0<  +йф  2 


ЛУ, 


-•Г- 


*)  В (6.120)  и далее  следовало  бы  брать  конечное  число  N 
переменных  интегрирования  У]  и после  интегрирования  вычислять 
пределы  при  N —*■  оо . Использованная  сокращенная  запись  не 
влияет  на  окончательный  результат. 
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Аналитическое  исследование  выражения  (6.120)  в общем 
виде  не  представляется  возможным.  Рассмотрим  сначала 

случай,  когда  < 1 (слабый  сигнал).  В этом  случае 

можно  пренебречь  членами  порядка  и выше.  Тогда, 

разлагая  экспоненты  в ряд  по  и сохраняя  только  пер- 
вые два  члена,  получим 


А 2 


— СЮ  — ОО  Т 


X С05  [<Ѵ  + Ч 2 '’и  } Ці  ■ ■ ■ Ч'т  . . • ] 

ОО 

ОС  °°  -і  2 Ф?  Т 

-[5 -5*  ~ {•+*$*<«> 


X С05 


і=  1 ' ^ 


Так  как  при .малом  х 

гЬ=|-и-«и 

и 


5 


1 V ,2 


= О, 


то  из  (6.120)  с точностью  до  членов  0 (— ггт-) 

V N о ) 

Т ОО  оо  оо 

♦‘=^Ке  1*т*ы  ($  5 Ф.Ц 

— Т — оо  — оо  І=1  ' 

хехр  {-у[^-26ф^|1г|ѵ]}  . . . сі%г  . . . ) 


си, 
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и,  вычисляя  интеграл  но  переменным  ЧЧ>  получим 

т Ь2  ѵ ^ 

« А0кф  « Ф 2-і  х ■ 

4 а = ..  - 7==  \ф к(()х(()е  3=1  1 соз щШ.  (6.121) 

Л'о  У Ч Ут 

Далее,  так  как  [см.  (3.24' )[ 
чі  фУО 

V,  = Вф  (0)  = а%,  (6.122) 

1=і  ; 

где  а, — дисперсия  модулирующего  процесса,  то  из  (6.121) 
находим 


4а 


N 0 У і-к 


1 

^ фй(0*(/)со5а>о*Л.  (6.123) 


Подставляя  (6.123)  в (6.117)  и используя  (3.24),  получаем 
байесовскую  оценку  модулирующего  процесса 

4(0=  ”ДДе,,ф°^  § Вф  (і  — и)  х(и)  со5щи  йи,  |?|<7\ 

(6.124) 

Из  (6.124)  следует,  что 

ті{4(0}  = 0.  (6.125) 

Найдем  корреляционную  функцию  оценки  ф(0-  Так  как 
в силу  независимости  сигнала  и шума 

Вх(и,  ѵ)  = В8(и,  О + іѴ0б (ѵ  — и), 
то 

В^{и,  о)  = га1{4>(и)4(о)}  = 


ІѴ» 


т т 


і_Де2,іф4  ^ ^ В*{и-х)В+(ѵ-у)Х 
-т  -т 

X [В8  (а:,  у)  + Ы0 6 (х  — у)]  соз  со0х  соз  со 0у  йх  сіу. 


Если  пренебречь  интегралами  от  слагаемых,  содержа- 
щих соз  со і при  со>со0  (как  это  уже  было  сделано  выше), 
то,  учитывая,  что  корреляционная  функция  В3  (х,  у)  моду- 
лированной несущей  пропорциональна  указанным  быстро- 
меняющимся  функциям  (см.  § 12.1.2  в первой  книге), 
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получим 


.126) 


(“•  ѵ)  = -щг  е2А|а|  5 в* {и  ~ У)  В * - У)  *У-  (6. 

Дисперсия  оценки 

°5  <0  = В,  «,  /)  _ .“И  5 Ві  (и  — у)  ііу  (6. 1 27, 


А}Ж  0,2  . 


-г 


или 


г (0  -і2  о о ^ 

ф | /1'>/дЬс\ь  2/??  «г2,  Р 

I.— .1  “ТІГ-е  ф<ч  +ІМ*.  (6.127') 


— Т 


1 Де  (т)  коэффициент  корреляции  модулирующего  про- 


При  Т — » оо 


цесса. 


а ^ (І)  2 Л 2 7,2  „2 


т 


УѴ 


о 


е2*|<4  ^(Т)^Т.  (6.128) 


Задачи 


6.1.  Показать,  что 
сигнала  — релеецское 


если  распределение  амплитуды  узкополосного 


п 2 


тщ  (а)  = 


2а 

+Г 


а >0, 


и распределение  ц независимой  от  амплитуды  фазы  равномерное,  то 
при  квадратичной  функции  потерь  байесовская  оценка  амплитуды 
в аддитивном  нормальном  шуме  равна 


где  і/д  — гипергеометрическая  функция  (см.  приложение  V в первой 
книге),  а величины  г\  и <Щ,  определены  согласно  (6.70)  и (6.71). 

6.2.  Решить  задачу  § 6.2.2  в предположении,  что  результаты 

наблюдении  представлены  не  реализацией  х(()=з(і-  О, О )-Ц 

+ |(0.  а дискретной  выборкой  х = (х1г  . . . , Ху),  ' где  щ = х(іХ, 
О — моменты  времени,  принадлежащие  интервалу  наблюдения  (~Т  Т). 
Показать,  что  байесовские  оценки  параметров  §к  могут  быть  пред- 
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ставлены  в векторной  форме 


$ 


\ йоу  (д)  ехр  | 

N п 

2 Іг  К ^ 

^ из  (»)  ехр  | - 

N -] 

2 Іг  К 

(2) 


где  область  пространства  параметров,  в которой  задано  распре- 
деление ю (Ф);  8 — матрица  размером  ЫХт  с линейно-независимыми 
(в  алгебраическом  смысле)  столбцами,  причем  /-й  столбец  матрицы 
представляет  вектор  с компонентами  / =1,  . . . , т\ 

к нормированная  корреляционная  матрица  случайного  слагаемого 

і (0; 

. /ѵк 

к = 1Л^'  (2') 

Іг  К — след  корреляционной  матрицы  К, 

(Зіѵ  (х  — 5і»,  к)  = (х  — зд)' к”1  (х  — зО).  (3) 

„ 6-3-  Получить  следующие  формулы  для  элементов  информацион- 
ной матрицы  оценок  амплитуды  и фазы  узкополосного  сигнала 
в аддитивном  белом  шуме: 

'г11  (Л,  Ф)  = ті  { (■^_ІП  Цх(1)\А,  ф])2 


где 


N1  [(гг  5 А (0*)  С05ф+  (-^г  ІС(і)йі) 
-Т  — т 

5 І П ф — 

-»]*} 

8 Т Щ 

Аф  — Л2  ’ 

(4) 

/'У'  (А,  <р)  = т1  { 

(^1п/[х  (0|  Л,  ф])2}  = 

Г 16 Г2  Г ! 
Щ\  N1  Ц 

Т 

-сур  ^ А ( І ) СІІ | 5ІП  ф — 

-т 

~ ( 2 Т ^ ^ с1‘  ) 
-т 

124  8Г  Л2 

С°5ф]  | - ;Ѵо  -44, 

(5) 

1(у}  (Л,  ф)  //ц 

г д 

і'ал-  |п  1 І*  1 А'  фіх 

х4- іп  1 [ 

<7ф 

х(і)\Л,  ф]|  =0, 

(6) 

4 

2ГЛ2 
-Ѵо  ’ 

(6') 
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Из  (4)  — (6)  найти  элементы  матрицы,  обратной  информационной: 


УУ'  (Л,  ф)  - 


щ • 

Л2 


(7) 


ѴГ  и.ф)  = -ЩГ' 
ѵу'  (Л,  Ф)  = о, 


(8) 
(9) 

и доказать  асимптотическую  эффективность  при  <іт  со  совмест- 
ных оценок  максимального  правдоподобия  амплитуды  и фазы. 

6.4.  Доказать,  что  для  узкополосного  сигнала  с гауссовой  оги- 
бающей и (I)  = е~“2'2  и линейной  частотной  модуляцией  со  (/)  = 
= со0  + М,  т.  е.  для  сигнала  с нормированной  комплексной  огибаю- 
щей вида 


а (() 


4аГ 


У/2л 


а-(а2-и)<2 


«Г»  1, 


(10) 


модуль  функции  неопределенности  равен 


а2  _ 
т212 


| Д*-  (т)  | = е 2 , (11) 

где  т так  называемый  коэффициент  сжатия,  определяемый  по  фор- 
муле 


/ 

■у 


а* 


(12) 


(при  отсутствии  частотной  модуляции  т—  1). 

Используя  (11),  показать,  что  дисперсия  оценки  времени  при- 
хода сигнала,  смешанного  с аддитивным  нормальным  белым  шумом, 

когда  отношение  сіт  энергии  сигнала  к спектральной  плотности  шума 
велико,  равна 


Л42{т| 


1 

йтаРт 2 


(13) 


6.5.  Доказать,  что  при  совместном  измерении  времени  прихода 
и допплеровского  смещения  частот  модуль  двумерной  функции 
неопределенности  для  сигнала  вида  (10)  задачи  6.4  равен 


I V (х,  Й)  | 


У («2т2т2- 


»■ 

СХ2 


(14) 


Используя  (14),  показать,  что  дисперсии  оценок  времени  при- 
хода и допплеровского  смещения  частот  и коэффициент  корреляции 
этих  оценок,  когда  отношение  энергии  сигнала  к спектральной 
плотности  белого  шума  с(т  > 1,  определяются  по  формулам 


Л42{т) 


1 

Лта, 2 ’ 


(15) 
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4агш2 

сіт 


(16) 


М-,  {0} 


|17) 

6.6.  Предположим,  что  амплитуда  и фаза  узкополосного  квази- 
детерминированного  сигнала  [вида  (6.66) ] независимы,  причем  апри- 
орное распределение  амплитуды  релеевское,  а фазы — равномерное. 
Доказать,  что  байесовская  оценка  амплитуды  равна 

+д,,(4)]е4  (|8) 

где 


Ѵт  = 


Г т 


V 1 + СІТ  ’ 

а величины  л|.  и определяются  по  формулам  (6.70)  и (6.71). 
Показать,  что  при  сіт ' — > оо. 


гт. 

сіт 


(19) 


(20) 


Убедиться,  что  для  белого  шума  оценка  (20)  совпадает  с оценкой, 
определяемой  по  формуле  (6.76). 
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ГЛАВА 

СЕДЬМАЯ 


ЭЛЕМЕНТЫ  ТЕОРИИ  КЛАССИФИКАЦИИ 
С ОБУЧЕНИЕМ 


7.1.  ХАРАКТЕРИСТИКА  ПРОБЛЕМЫ 

КЛАССИФИКАЦИИ  С ОБУЧЕНИЕМ 

Проблема  классификации  результатов  наблюдений  была 
сформулирована  в самом  начале  книги  как  проблема  выбо- 
ра из  набора  решений  у0,  . . .,  ут  решения  ук  о принад- 
лежности совокупности  результатов  наблюдений  х{,  ... 

. . .,  хп  одному  из  т + 1 заданных  распределений 
\Ѵп  (хи  . . .,  хп  | 5а),  к = 0,  . . .,  т. 

Использование  тех  или  иных  критериев  качества  для 
получения  оптимального  алгоритма  классификации  обус- 
лавливалось знанием  априорных  вероятностей  принадлеж- 
ности каждому  из  распределений  и заданием  функции 
потерь.  При  этом  апостериорные  (условные)  функции  рас- 
пределения выборочных  значений  — функции  правдопо- 
добия ѴРп  (хь  . . .,  хп  | 5а)  предполагались  полностью  из- 
вестными. В том  случае,  когда  параметры  этих  функций 
оказывались  случайными,  предполагалось,  что  точно  из- 
вестны функции  распределения  этих  параметров. 

Рассмотренные  в пятой  главе  задачи  обнаружения  и 
различения  сигналов  на  фоне  шума  служат  примерами 
задач  синтеза  оптимальных  алгоритмов  классификации 
по  выборочным  значениям  наблюдаемого  процесса  или 
по  непрерывной  реализации  этого  процесса,  для  решения 
которых  использовались  байесовские  критерии  качества. 

Далеко  не  всегда  байесовский  подход  к проблеме  син- 
теза оптимальных  алгоритмов  классификации  может  быть 
практически  реализован  из-за  возникающих  чисто  матема- 
тических трудностей,  связанных  с нахождением  экстрему- 
мов достаточно  сложных  функционалов.  Но  даже,  если 
оставить  в стороне  ограниченные  возможности  аппарата 
математического  программирования,  указанный  подход 
встречается  иногда  с принципиальными  трудностями.  Это 
относится,  прежде  всего,  к вероятностному  описанию 

445 


изучаемого  явления,  которым  исследователь  может  не  рас- 
полагать вовсе  или  которое  может  быть  неполным.  Так 
часто  неизвестны  параметры  функции  правдоподобия  вы- 
борочных значений  или  априорное  распределение  этих 
параметров,  а в других  случаях  — и сама  функция  правдо- 
подобия. Произвол  в выборе  вида  функции  потерь  является 
другой  причиной  критического  отношения  к байесовскому 
подходу. 

Одним  из  путей,  выводящих  из  тупика  априорной  недо- 
статочности, является  поиск  алгоритмов,  устойчивых  к из- 
менению вероятностных  характеристик  изучаемых  слу- 
чайных процессов.  Некоторые  возможности,  частично  уже 
реализованные,  открываются  при  исследовании  асимптоти- 
ческого поведения  оптимальных  байесовских  алгоритмов, 
когда  какой-либо  параметр,  например  соответствующим 
образом  определенное  отношение  сигнал/шум,  мал  или 
неограниченно  возрастает.  Эти  предельные  алгоритмы  при 
определенных  условиях  оказываются  инвариантными  по  от- 
ношению к априорным  данным. 

Более  широкий  горизонт  открывается  с вершин  непара- 
метрических методов.  Некоторые  из  этих  методов  были 
упомянуты  в первых  главах  книги.  Таковы  методы  про- 
верки гипотезы,  базирующиеся  на  использовании  упорядо- 
ченности выборочных  значений  (см.  § 1.5.3)  или  критериев 
согласия  (§  2.6),  при  использовании  которых  сохраняется 
постоянным  уровень  значимости,  каково  бы  ни  было  рас- 
пределение, соответствующее  проверяемой  гипотезе.  В част- 
ности, в задачах  обнаружения  сигналов  в помехах  непара- 
метрические методы  позволяют  найти  алгоритмы,  обеспечи- 
вающие постоянство  вероятности  ложных  тревог  при  изме- 
нении распределения  вероятностей  помех. 

Другой  путь  преодоления  трудностей,  вызванных 
отсутствием  априорной  информации,  указывает  теория 
игр.  Задачи  классификации  рассматриваются  при  этом  как 
«игра»  с противником  (природой),  стратегия  которого, 
вообще  говоря,  неизвестна.  Стратегия  исследователя  часто 
строится  на  предположении,  что  природа  выбирает  всегда 
наименее  благоприятное  для  него  распределение  вероят- 
ностей исследуемого  случайного  процесса.  Такая  страте- 
гия приводит  к минимаксному  правилу  выбора  решения 
(см.  § 1.1.5).  Байесовскую  теорию  решений  можно  рас- 
сматривать как  специальный  раздел  теории  игр  для  тех 
случаев,  когда  «игра»  ведется  против  «слабого»  противника, 
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стратегия  которого  в вероятностном  смысле  заранее  извест- 
на исследователю. 

Методы  непараметрической  статистики  и теории  игр 
здесь  не  рассматриваются.  Настоящая  глава  посвящена 
третьему  возможному  пути  решения  задач  классификации 
для  тех  ситуаций,  когда  функции  распределения  выбороч- 
ных значений  частично  или  полностью  неизвестны.  В этом 
случае  классификации  предшествует  период  обучения,  т.  е. 
формирования  на  основании  наблюдений  оценок  неизвест- 
ных функций  распределения  или  оценок  параметров,  если 
вид  функций  распределения  задан.  Эти  оценки  исполь- 
зуются затем  для  классификации  последующих  результа- 
тов наблюдений  вместо  неизвестных  истинных  вероятно- 
стных характеристик  исследуемых  процессов. 

Различают  обучение  с учителем,  в результате  которого 
получают  последовательность  эталонных  наблюдений,  при- 
чем относительно  каждого  из  ее  элементов  известно  какому 
из  распределений  он  принадлежит  (классифицированная 
обучающая  выборка),  и обучение  без  учителя  (самообуче- 
ние), при  котором  указанные  выше  оценки  формируются 
по  неклассифицированным  обучающим  выборкам.  Иногда 
заранее  ограничивают  класс  допустимых  алгоритмов  клас- 
сификации, параметры  которых  оцениваются  по  выбран- 
ному критерию  качества  в процессе  обучения  или  самообу- 
чения. 

В приемном  устройстве,  предназначенном  для  класси- 
фикации (например,  для  обнаружения  или  различения 
сигналов  на  фоне  шума),  когда  условные  функции  распре- 
деления результатов  наблюдения  не  определены,  в период 
обучения  или  самообучения  происходит  изменение  пара- 
метров или  структуры  алгоритма  классификации  с целью 
приближения  их  к оптимальным  с точки  зрения  задан- 
ного критерия  качества.  Подобные  приемные  устройства 
принято  называть  адаптивными  (или  самоорганизующи- 
мися). 

Часто  при  решении  задач  классификации  используются 
не  сами  наблюдения,  а некоторые  функции  (или  функцио- 
налы) от  этих  наблюдений,  называемые  информативными 
признаками  класса  (или  признаками  образа).  В указанных 
терминах  рассматриваемая  проблема  относится  к проблеме 
распознавания  образов  , по  выбранным  информативным 
признакам.  Выбор  информативных  признаков  зависит  от 
характера  решаемой  задачи.  Общие  подходы  в этом  на- 
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правлении  еще  только  намечаются.  Естественным  является 
стремление  решить  задачу,  имея  по  возможности  меньшее 
число  информативных  признаков.  В некоторых  случаях 
в качестве  информативных  признаков  могут  быть  выбраны 
достаточные  статистики. 

Таким  образом,  в наиболее  общем  виде  система,  реали- 
зующая алгоритм  классификации,  включает  два  устрой- 
ства: приемное,  преобразующее  результаты  наблюдений 
в информативные  признаки,  характеризующие  образ,  и ре- 
шающее, которое  относит  сформированную  на  выходе 
совокупность  признаков  к одному  из  классов  (образов). 

Выборочные  значения  ад,  . . .,  хѵ  могут  рассматри- 
ваться или  как  результаты  непосредственных  наблюдений, 
или  как  информативные  признаки. 


7.2.  КЛАССИФИКАЦИЯ  В СЛУЧАЕ 
НОРМАЛЬНЫХ  РАСПРЕДЕЛЕНИЙ 


7.2.1.  Неизвестные  средние.  Рассмотрим  сначала  простей- 
ший случай,  когда  в результате  обучения  с учителем 
получена  классифицированная  обучающая  выборка,  причем 
А'і0),  . . .,  Хпі  принадлежит  классу  50,  характеризуемому 
одномерным  нормальным  распределением  од  (л:  | 50),  а 
. . .,  Хпі  — классУ  $і>  характеризуемому  одномерным 
нормальным,  распределением  ид  (х  | 5]).  Предположим  сна- 
чала, что  неизвестны  только  средние  значения  нормальных 
распределений,  а дисперсии  известны  и имеют  одинаковую 
величину  а2.  Примем  в качестве  оценок  неизвестных  сред- 
них оценки  максимального  правдоподобия  по  классифици- 
рованной обучающей  выборке,  т.  е. 


а о : 


По 

— 2 4°\ 

п0  ^ 

%--  1 


-’-Е 

Па 


4". 


і=  1 


(7.1) 


Тогда,  используя  эти  оценки  вместо  неизвестных  средних, 
можно  согласно  § 1.3  сформулировать  следующее  оптималь- 
ное по  критерию  максимального  правдоподобия  правило 
классификации  наблюдений  хп:  наблюдения  отно- 

сятся к классу  5і,  если 

«о)>°  (7-2) 

І 1 


448 


и к классу  з0,  если  выполняется  неравенство,  противопо- 
ложное (7.2). 

Формулу  (7.2)  можно  переписать  в виде  системы  нера- 
венств 
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а0  4-аі 
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или 
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Таким  образом,  алгоритм  классификации  сводится  к вы- 
числению среднего  арифметического  наблюдаемых  значений 
и сравнению  его  с порогом,  зависящим  от  обучающих  вы- 
борок. 

Левая  часть  выражения  (7.2)  представляет  произведение 
коррелированных  нормальных  случайных  величин 
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Средние  и дисперсии  этих  величин  равны 
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причем  и а0  — неизвестные  средние  нормальных  рас- 
пределений пц  (х  | а,)  и ы>і  (х  | а0).  Заметим,  что  при  п0  — 
--  Пі  случайные  величины  у и 2 не  коррелированъ!. 

1 2 29-197 
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Когда  размеры  обучающих  выборок  п0  и неограничен- 
но возрастают,  оценки  а0  и а4  сходятся  по  вероятности 
к средним  значениям  а0  и ах  соответственно  (так  как  выбо- 
рочное среднее  является  состоятельной  оценкой  среднего). 
Учитывая,  кроме  того,  что  пределы  по  вероятности  сумм, 
разностей  и произведений  случайных  величин  равны 
суммам,  разностям  и произведениям  пределов,  находим 
из  (7.3),  что  при  неограниченном  увеличении  размеров 
обучающих  выборок  (и  фиксированном  размере  п выборки, 
которую  необходимо  отнести  к одному  из  двух  указанных 
выше  нормальных  распределений)  оптимальное  правило 
классификации  асимптотически  сходится  по  вероятности 
к байесовскому  правилу  проверки  простой  гипотезы  о сред- 
нем значении  нормальной  случайной  величины  [см.  (1.67)]. 
Вероятности  ошибок  классификации  стремятся  при  этом 
асимптотически  к величинам  аир,  определяемым  по  фор- 
мулам (1.71)  и (1.72). 

Алгоритм  классификации  (7.3)  обобщается  на  много- 
мерный случай,  когда  решается  задача  о принадлежности 
наблюдаемой  выборки  X одному  из  двух  р-мерных  нормаль- 
ных распределений  с неизвестными  векторами  средних 
и заданными  корреляционными  матрицами  Мі  = = М. 

Пусть  в результате  обучения  с учителем  получена  классифи- 
цированная обучающая  выборка:  из  первого  распределе- 
ния х)0’,  . . . , х<,°>  и из  второго  х“\  . . . , хЯ-’.  Каждый  элемент 
указанных  выборок  представляет  р-мерный  вектор.  Ана- 
логично (7.1)  в качестве  оценок  неизвестных  векторов  сред- 
них принимаются  средние  арифметические 


а0  - 


П0 

І=  1 


а і 


'Ч 

■■  — УхГ. 

Па 


г=1 


(7.8) 


Алгоритм  классификации,  обобщающий  (7.2),  сводится 
к сравнению  с порогом  величины  V , равной 

Ѵ==(Х-І2±^)'м-1(і1-а0).  (7.9) 


Распределение  статистики  V изучалось  в работах  [24,  45]. 
Было  показано  [32],  в частности,  что  статистика 

у _ 4/ірГС!  V 

У (л0  + Лі)(Яо  + П1  + 4,гоЧі) 
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может  быть  приведена  к линейной  комбинации  двух  неза- 
висимых случайных  величин  х2(Р>У)  и %2(р,  Я2) 

2 = (1  + Р)Х2(Р,  ^і)  — (1  — р)  х2  (р,  Я2),  (7.10) 

где  х2  (Р<  У имеет  нецентральное  х2-рзспределение  с р сте- 
пенями свободы  и параметром  нецентральности  X,  а вели- 
чина р определяется  по  формуле 


Р = 


п,  — п0 

У (по  + щ)  ("о  + «і  + 4«о«і) 


(7.10') 


Параметры  нецентральности  определяются  из  соотношений 


V 


«о Пі  Г 1 _ 


(1  р)  Ц по-\-  п1  4лдл4 


Я,  — по'гі  Г 1 і_ 

“2  “ 4 (1  -р)  I ± У^+Щ 


где 


гі  + 4л0л1 

й(2  = (аі  а0)  М 1 (а4  — а0)  ■ 


] а,  (7.П) 
]Ч  (7.1  Г) 


(7.12) 


Верхний  знак  в квадратных  скобках  соответствует  случаю, 
когда  т1{Х}  = а0,  а нижний  — когда  т1{Х}  = а1. 

При  п0  — > оо  и Пі  — > оо  распределение  V приближается 

к нормальному  с параметрами  (у  сі2,  сі2 ) , если  гщ  {X}  = а0, 

и с параметрами  -і^2,  о!2)  , если  ш1{Х}  = а1. 

7.2.2.  Неизвестные  средние  (обучение  без  учителя). 

Вернемся  к постановке  задачи,  изложенной  в начале  § 7.2.1, 
с той  лишь  разницей,  что  обучающая  выборка  хь  . . .,  хп 
не  классифицирована.  Предполагая,  что  появление  любого 
из  двух  классов  и 50  в каждом  наблюдении  априори 
равновероятно,  можно  каждый  элемент  обучающей  выборки 
рассматривать  как  принадлежащий  общему  бимодальному 
распределению  [27]  (см.  задачу  1.5) 

I _ (х— аі)2  _ (X— а0)2 

щ(х\аи  а0)=  - [е  202  + е 2а*].  (7.13) 

2 у 2л  а 

Среднее  значение  случайной  величины,  подчиняющейся 
распределению  (7.13),  равно 


а = щ + оо 


(7.14) 


Так  как  а4  и а0  неизвестны,  то  неизвестна  и величина  а. 
В качестве  оценки  среднего  значения  а распределения  (7.13) 
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можно  принять  выборочное  среднее,  полученное  из  всей 
обучающей  выборки 


П 


(7.15) 


Используя  оценку  (7.15)  вместо  неизвестного  среднего  а 
и принимая  критерий  минимума  вероятности  ошибочных 
классификаций  (максимального  правдоподобия),  можно 
сформулировать  следующее  оптимальное  правило  классифи- 
кации. Наблюдение  X относится  к классу  $ь  если 


Х>а, 


(7.16) 


и к классу  50,  если  выполняется  неравенство,  противополож- 
ное (7.16). 

При  неограниченном  увеличении  п сформулированное 
правило  классификации  асимптотически  стремится  к байе- 
совскому правилу  проверки  простой  гипотезы  о среднем 
значении  нормальной  случайной  величины. 

Алгоритм  классификации  (7.16)  обобщается  на  много- 
мерный случай  при  сохранении  сферической  симметрии 
плотностей  вероятности,  когда  решается  задача  о принад- 
лежности наблюдаемой  выборки  X одному  из  двух  р-мерных 
нормальных  распределений  с неизвестными  векторами  сред- 
них Я]  и а0  и заданными  корреляционными  матрицами  = 
= М2  = аЧ,  .где  I — единичная  матрица.  В этом  случае 
общее  многомерное  распределение  двух  классов  имеет 
следующий  вид: 


(X  | Эі,  а0)  = 


2 (2л)  2 оѵ 


р 


{ехр[’-і(х-а1)'(х-аі)]  + 


(2л)  2 аР 


V 


ехр  [ Ь'Ь]  ехр  [ -^  (X  - а)'  (X  - а)] 


(7.17) 


где 


а 


аі  + а0  . ц _ а4  — а0 
2 ’ 2 


(7.17') 
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Вектор  а является  вектором  средних  значений  распре- 
деления (7.17),  а элементы  корреляционной  матрицы  М 
этого  распределения  равны 

оо 

Ми  = ? ...  ^(хі-аі)(хі-а^)шр(\\а,Ь)ііхі  ...  0хр  = 

= ЬіЬз  + о'г‘Ьи,  (7.18) 

где  Ьц  1 при  і = / и 6^  = 0 при  іфі, 

ап  і=1,  ...,  р —компоненты  вектора  а, 

Ь],  /=1,  ...,  р — компоненты  вектора  Ь. 

Если  векторы  средних  а4  и а0  известны,  то  оптимальное 
байесовское  правило  разбиения  выборочного  пространства 
производит  гиперплоскость,  которая  перпендикулярна  ли- 
нии, соединяющей  точки  X = аі  и X = а0,  и делит  эту  линию 
пополам  (см.  задачу  1.6).  Наблюдение  X относится  к одному 
или  другому  классу  в зависимости  от  знака  величины 
Ь'  (X  — а)  [ср.  с (7.9)1. 

В том  случае,  когда  векторы  средних  для  обоих  классов 
неизвестны,  а и Ь следует  заменить  оценками,  полученными 
при  обучении.  При  самообучении  по  неклассифицирован- 
ной выборке  хь  . . .,  хп  эти  оценки  получаются  из  выбо- 
рочного среднего  и выборочной  корреляционной  матрицы. 
Оценка  вектора  средних  распределения  (7.17)  равна 

а_{2х„  (7.19) 

І=  1 

а оценки  компонент  вектора  Ь могут  быть  найдены  из  системы 
уравнений,  получающейся  путем  сравнения  величин  Мц 
из  (7.18)  с соответствующими  элементами  выборочной  кор- 
реляционной матрицы 

М = ^-  V (х;  — а)(х;  — а)'.  (7.20) 

І=  1 

Заметим,  что  число  уравнений  в такой  системе  будет, 
вообще  говоря,  больше  числа  неизвестных.  Для  решения 
может  быть  привлечен  метод  наименьших  квадратов. 

Определение  оценки  вектора  Ь может  быть  упрощено, 
если  воспользоваться  тем  обстоятельством,  что  этот  вектор 
является  наибольшим  собственным  вектором  корреляцион- 
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ной  матрицы  распределения  (7.17),  причем  для  рассматри- 
ваемого случая  сферической  симметрии  все  характеристи- 
ческие числа  корреляционной  матрицы,  за  исключением 
наибольшего,  равны  между  собой  *). 

Задача  существенно  упрощается,  когда  вектор  среднего 
для  одного  из  классов,  например  а0,  известен  (как  в задаче 
обнаружения  неизвестного  сигнала  на  фоне  шума,  когда 
а0  = 0).  Тогда 


П 

Ь а — а0=  ^ 2 х<  — а0-  (7.21) 

І—  1 


7.2.3.  Неизвестные  средние  и корреляционные  матрицы. 

Предположим  сначала,  что  векторы  средних  двух  р-мерных 
нормальных  распределений  известны  и равны  друг  другу 
а0  = а!  = а.  Корреляционные  матрицы  этих  распределе- 
ний М0  и Мі  неизвестны  (М„  ф М,).  Имея  классифицирован- 
ную обучающую  выборку  х)0),  ....  х'„"  из  первого  распреде- 
ления и х‘”,  . . .,  х',1’  — из  второго,  можно  записать  оценки 
максимального  правдоподобия  неизвестных  матриц  М0 
и М [ [см.  (2.203)1: 

«о 

М0  (хГ~а)(хГ-а)',  (7.22) 

і=  1 


Мі  -^-2  (хі1>  — а)  (Х4Х>  — а)'-  (7- 22') 

І=  1 


Для  того  чтобы  классифицировать  наблюдение  X.  можно 
воспользоваться  оптимальным  алгоритмом  проверки  гипо- 
тез о корреляционной  матрице  нормального  распределения 
(см.  задачу  1.7),  заменив  неизвестные  корреляционные 
матрицы  М0  и Мі  их  оценками  (7.22)  и (7.22').  Тогда  полу- 
чаем следующее  правило  классификации:  наблюдение  X 
относится  ко  второму  распределению,  если 

(X  - а)'  (М4  - М„)  (X  - а)  > 2 1п  с + 1п  . (7.23) 

сіеі  М і 


Совершая  замену 

V = !'  (X  — а),  V' 


(У  и 


Ур )> 


*)  О собственных  векторах  и собственных  числах  матриц  см., 
например,  в книге:  А.  Л.  Мишиной  и И.  В.  Проскурякова  «Высшая 
алгебра».  Физматгиз  1962,  гл.  II,  § 1. 
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где  матрица  і определяется  из  соотношения 

М^МоІЛ 

и А — диагональная  матрица,  элементы  АІ5  ір  которой 
являются  корнями  уравнения 

сіеі  [М,—  Ш0]  = 0, 


можно  неравенство  (7.23)  привести  к виду 

ѵ ѵ 


2 (і— у-)  ^>2іпс  + 2 1п^- 

4 — 1 1 А — I 


(7.24) 


Распределение  статистики  в левой  части  (7.24),  а также 
вероятности  ошибок,  соответствующие  правилу  (7.24),  изу- 
чались в [39].  Там,  в частности,  доказано,  что  при  п0  -*■  оо 
и Пі  -*■  оо  правило  (7.24)  стремится  по  вероятности  к прави- 
лу оптимальной  проверки  гипотез  при  известных  М0  и 
(см.  задачу  1.7). 

Если  векторы  средних  двух  нормальных  распределений 
равны  друг  другу  и неизвестны,  то  в (7.23)  вместо  а следует 
подставить  его  оценку  по  обучающим  выборкам 


/і(|а0  і-ща, 

п0+пі 


(7.25) 


где  а0  и аі  определяются  согласно  (7.8). 

В случае,  когда  векторы  средних  двух  нормальных  рас- 
пределений не  равны  друг  другу  (а0  =й=  а4)  и неизвестны, 
а неизвестные  корреляционные  матрицы  одинаковы  (М0  = 
= М,  = М),  используется  классифицирующая  статистика 
(7.9),  в которой  вместо  М следует  подставить  ее  оценку  по 
обучающим  выборкам,  т.  е.  [см.  (2.207)] 

Ѵ=(Х-і®±а)'м-1(а1-а0),  (7.26) 

где 

М = — і-і х 

”о  + «і  — 2 

X [ 2 (хі0)  - а0)  (х[0)  - а0)'  + 2 (*іи  - а0  (х?>  - а4)' ] (7.27) 

І=  1 І=  1 


и а0,  а4  определяются  согласно  (7.8).  Распределение  ста- 
тистики (7.26)  изучалось  в [24,  34,  45]. 
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7.2.4.  Произвольное  число  распределений.  Приведем  соо- 
бражения, позволяющие  использовать  обучение  с учителем 
в том  случае,  когда  имеется  ш-\- 1 классов  $о,  . . .,  5т,  харак- 
теризуемых р-мерными  распределениями  (необязательно 
нормальными):  дор  (х  | 50),  . . .,  (х  | зт).  Вид  каждого 
из  распределений  известен,  а все  или  часть  их  параметров 
неизвестны.  Если  получена  классифицированная  обучаю- 
щая выборка,  т.  е.  т + 1 наборов  р-мерных  векторов, 
причем  х[к\  . . .,  хЮ  принадлежит  классу  зк,  к = О, 

• • •>  тс*  можно  по  обучающим  выборкам  построить 
оценки  неизвестных  параметров  распределений  и,  подстав- 
ляя эти  оценки  в шр  (х  | зк),  найти  оценки  функций  рас- 
пределения (х  | 5*)  (см.  §2.6.6).  Далее,  используя  мини- 
мум среднего  риска  (при  известных  априорных  вероятно- 
стях рк,  к = 0,  . . .,  т,  принадлежности  каждому  из  рас- 
пределений и величинах  потерь  П,^)  как  критерий  качества 
классификации,  можно,  заменяя  в байесовском  правиле 
(1.144)  функции  распределения  шр  {х  \ 5к)  их  оценками, 
получить  следующее  правило  классификации:  наблюдаемая 
выборка  X принадлежит  классу  зк,  если 


т 


.2  (П„  — Пгь)  Рі  ХШр  (X  | 5;)  >0,  / = 0 


ч • • • 


(7.28) 


Пусть,  например,  имеется  т + 1 классов,  характеризуе- 
мых многомерными  нормальными  распределениями  с неиз- 
вестными средними  ак  и корреляционными  матрицами  Шк  = 
= М (&  = 0,  . . .,  т),  и пусть  в результате  обучения  полу- 
чены выборки  из  каждого  распределения.  Если  выборка 

ХІЛ),  • • х(»й  принадлежит  нормальному  распределению  с па- 
раметрами ак,  М (к  = 0,  . . .,  т),  то  можно  построить 
оценки  максимального  правдоподобия  неизвестных  пара- 
метров: 


(7.29) 


т пк 


м = 


771 


2 2 (хіЛ)-ай)(хіЛ>-ай)',  (7.30) 


2 пі  — («  ф 1)  Ь=  о г=і 
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и найти  оценки  распределений  [см.  (2.201)]: 


К.'р(Х|.$й); 


1 


(2л)р/2  У йеі  М 

к = 0, 


ехр  [ — \ (х  — ^ ^ 1 (х  “ аА)]  ’ 


т. 


(7.31) 


Полагая  Па  = П {ІФ}),  П^  = 0,  находим  из  (7.28)  пра- 
вило классификации:  наблюдаемая  выборка  X принадлежит 
классу  зк,  если 


Ѵ^  = 1п 


Шр  (х  I $к) 
Ѵ0р  (X  | 5;) 


= Гх  — — (ай  + а^І  М Чай  а^)>1п  , 

/=  0,  ...,  т;  }фк.  (7.32) 


Когда  все  совместное  распределение  стати- 

стик Ѵщ  становится  нормальным  (см.  [1,  стр.  208]). 

Если  вид  функций  распределения  (х  | зл)  неизвестен, 
то  можно  воспользоваться  обучающими  выборками  для 
оценки  этих  функций  по  методике,  указанной  в § 2.7.4. 
Тогда  в соответствии  с (2.211) 


і=  1 і=і 

х = (хи  Хр),  хР>  = (Ч«,  . . . , х<Ѵ), 


(7.33) 

(7.34) 


где  ядро  аппроксимации  К (у)  и величина  к ( п ) удовлет- 
воряют условиям  (2.21  Г). 

7.2.5.  Связь  с геометрическим  подходом.  Предположение 
о том,  что  классы  характеризуются  нормальными  распре- 
делениями, имеет  смысл  и в тех  случаях,  когда  в действи- 
тельности эти  распределения  отличаются  от  нормального. 
Рассмотренные  выше  правила  классификации,  основанные 
на  нормальных  распределениях  с неизвестными  параметра- 
ми, являются  оптимальными  и для  случаев,  когда  распреде- 
ления на  самом  деле  не  нормальны,  если  критерием  каче- 
ства служит  наименьшее  «расстояние»  от  вектора  наблюде- 
ний до  вектора  обучающих  выборок  [4].  Расстоянием  векто- 
ра наблюдений  X до  вектора  обучающей  выборки  х(г>,  . . . 
. . .,  хЧ  называется  величина 

^2!ІХ-Ч‘МР. 

1 к=  1 
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(где  ||  X — х^>  ||  — норма  вектора  X — х<4>),  т.  е.  сумма  квад- 
ратов компонент  этого  вектора. 

Естественно  до  классификации  применить  линейное 
преобразование  для  того,  чтобы  максимально  уплотнить 
обучающие  выборки  данного  класса.  Точнее  говоря,  необ- 
ходимо найти  такое  линейное  преобразование  А;  с сохра- 
нением объема  (т.  е.  с якобианом  преобразования,  равным 
единице),  при  котором  величина 


1 


пі  (пі  — 


т>2 

Й=1  2=1 


2ИМх?>-х;*>||’ 


(7.35) 


минимальна.  В [4]  было  доказано,  что  таким  преобразова- 
нием является  вращение  Сі  с последующим  диагональным 
преобразованием  Столбцами  матрицы  С,  служат  собст- 
венные векторы  *)  выборочной  корреляционной  матрицы  М,- 
[см.  (7.22)],  а элементами  диагональной  матрицы  явля- 
ются величины 

V — 

(7.36) 

к ;=  і 

где  о)б  — среднеквадратическое  отклонение  векторов 
в направлении  I- го  собственного  вектора  матрицы  С,;  р — 
размерность  векторов  и Ькі=  1 при  к = /;  ^ = 0 при  кФ  /. 

Правило  классификации  может  быть  сформулировано 
теперь  следующим  образом:  по  обучающим  выборкам 
и наблюдению  X вычисляются  величины 


I 

Рі  = ^-Ц  II  ОіС*  (X  — Х^))  II®,  1 = 0.  1 т,  (7.37) 

‘ к=  1 

определяется  наименьшее  из  них  р;  = гпіп  рг;  наблюдение 
относится  к /-му  классу. 

В [4  ] доказано  также,  что  указанное  правило  эквивалент- 
но правилу,  основанному  на  определении  логарифма  отно- 
шения правдоподобия,  вычисленного  в предположении  нор- 
мальности распределений  с выборочными  векторами  средних 
и корреляционных  матриц  (при  равенстве  априорных  вероят- 
ностей Рі  = р-  — — 1 и плат  П;у-  = И). 

*)  См.  подстрочное  примечание  на  стр.  454. 
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7.3.  БАЙЕСОВСКИЕ  ПРОЦЕДУРЫ  ОБУЧЕНИЯ 

7.3.1.  Метод  апостериорных  вероятностей.  Другой  подход 
к проблеме  классификации  с учителем  связан  с допущением, 
что  параметры  0Ь  . . Ѳ,м  определяющие  распределения 
классов  ы)р  (х  | Ѳ4;  54),  . . . , (х  | Ѳт;  зт),  представляют  неза- 
висимые случайные  конечномерные  векторы  с известными 
априорными  распределениями  адм(Ѳй),  к = 1,  ...,  т.  Если 
имеется  набор  обучающих  выборок  Х0б  = (х4,  . . . , хт),  где  эле- 
мент хк  представляет  вектор-строку  хк  = (х(*>,  . . . , х(п,!)),  клас- 
сифицированных выборок,  принадлежащих  классу  зк,  н наблю- 
дение X,  то,  используя  формулу  Байеса,  можно  определить 
апостериорную  вероятность  класса  зк  при  заданных  Хоб,  X: 


Р{5к\\ об,  Х}  = 


ркѴР  (Х0б,  X | 5к) 

2 Рк^  (Хоб,  X | 5к) 

Л=1 


(7.38) 


где  рк  — априорная  вероятность  принадлежности  классу  зк. 
Имея  величины  Р {5а  | Хоб,  X},  к = 1 , . . . , т,  относим  наблю- 
дение X к тому  классу  з^,  для  которого  апостериорная 
вероятность  максимальна,  т.  е. 

Р {.?;  | Хоб,  X}  > Р {5й  | Хоб,  X}  (7.39) 

для  всех  кф  /. 

Так  как 

М7  (Хоб,  X | зк)  — \Ѵ  (X  | Х0д,  зк)  (Ход  | 5а),  (7-40) 

причем  второй  сомножитель  в (7.40)  зависит  только  от  обу- 
чающих выборок,  то  из  (7.38)  и (7.39)  следует,  что  алго- 
ритм классификации  сводится  к вычислению  величин 
Ри V/  (X  | Хоб,  5а),  к = 1,  . . .,  т,  и отнесению  наблюде- 
ния X к тому  классу  зу,  которому  соответствует  максималь- 
ная из  полученных  величин.  Если  априорные  вероятно- 
сти рк  одинаковы,  то  классификация  при  заданном 
наборе  Хоб  сводится  к определению  того  класса  зу,  для 
которого  наблюдаемая  выборка  X максимизирует  функцию 
правдоподобия  V/  (X  | Х0б,  5а).  Последнюю  можно  рас- 
сматривать в качестве  оценки  неизвестных  распределений 
классов  при  заданном  наборе  обучающих  выборок  Х0б- 
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функцию  У/  (X  I Хоб,  5А)  вычисляем,  используя  фор- 
мулу полной  вероятности: 

Г (X  | Хоб,  5Л)  = ^ Г (X  | Хоб,  Ѳ*.  зк)  И?  (Ѳ*  | Хоб,  зк)  Мк  = 
йа 

= § и?(Х|ѳй,  5А)и^(ѳй|хЙІ  зк)сіѳк,  ѳк^&к,  (7.41 ) 

ак 


ТѵсчхТх  °йчевТ°’  что  ^(®ИХоб,  5й)  = Г(Ѳа|ха,  8й), 
а \ѵ  (л  і Л0б,  зк)  вовсе  не  зависит  от  обучающих  выборок. 

Апостериорную  плотность  вероятности  параметра  Ѳ, 

Бай  3аДанноп  Мучающей  выборки  находим  по  формуле 


№ (ѲА  I х*.  зк)  = ію  (ѲА)  Г(ХйІѲй’ 

\ ѵ (Ѳй)  ^ (Ч  I 0Й,  5Й)  сШк  ' 


(7.42) 


В формуле  (7.42)  второй  сомножитель  указывает,  каким 
образом  в процессе  обучения  с учителем  изменяется  пер- 
воначальное априорное  распределение  параметров  Ѳй. 

Заметим,  что  в том  случае,  когда  параметры  ѲА  известны 
и равны  0/е , их  условные  плотности  представляют  дельта- 
функции 

^(Ѳй  | Хй,  5й)  = б (ѲА  — Ѳ*) 
и из  (7.41)  следует 


Г(Х|Хоб,  5Л)  = \Г  (X  | ѲЙ,  зк). 


как  и должно  быть.  В этом  случае  задача  классификации 
полностью  совпадает  с многоальтернативной  проверкой 
гипотез,  рассмотренной  кратко  в первой  главе. 

7.3.2.  Обнаружение  неизвестного  сигнала  в нормальном 
шуме.  В качестве  простейшей  *)  иллюстрации  указанной 
выше  методики  классификации  рассмотрим  задачу  об  обна- 
ружении неизвестного  сигнала  в аддитивном  нормальном 
некоррелированном  шуме  с нулевым  средним  и диспер- 
сией а2.  Сигнал  представляет  независимую  от  шума  нор- 
мальную случайную  величину  а,  априорное  распределение 
которой  определяется  параметрами  (а0,  а;).  Проблема  обна- 
ружения сигнала  состоит  в этом  случае  в отнесении  наблю- 


*)  Более  общая  задача  распознавания 
(щ  >>  2)  в шумах  рассмотрена  в [2]. 
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неизвестных  сигналов 


дения  X к распределению  смеси  сигнала  и шума  да,  (х  \ 5,) 
или  к распределению  шума  оу,  (х  | 50). 

Если  априорное  распределение  сигнала  не  изменяется 
в процессе  обучения,  т.  е. 

_ (а-ао)2 

№{а\хи  . . хп\  5,)  = — ут=е  2а»  , 

а0  ѵ 2л 

то  в соответствии  с (7.41)  функции  правдоподобия  1Е,  (X  |5,), 
117,  (X  | 50)  равны  *) 

оо 

— ОО 

= <7'43> 

г‘<ЛІ!">"йкехр[-й-  (7'43’> 

Правило  выбора  решения  (классификации)  по  критерию 
максимума  апостериорной  вероятности  является  в этом 
случае  частным  случаем  рассмотренных  в гл.  1 и 5 байесов- 
ских правил  проверки  гипотез  (обнаружения  сигнала). 

Принимается  решение  о наличии  сигнала,  если 

Й7,  (X  1 5,)  > Ц7,  (X  1 50),  (7.44) 


и о том,  что  присутствует  только  шум,  если  выполняется 
неравенство,  противоположное  (7.44).  Из  (7.43),  (7.43') 
и (7.44)  следует,  что  алгоритм  классификации  может  быть 
записан  следующим  образом:  наблюдение  X относится  к сме- 
си сигнала  и шума,  если 

а0Х  + ±-^Х*>с,  (7.45) 


и оно  относится  к шуму,  если 

а0Х  + ±^Х*<с, 


где 


с = а: 


(7.45') 

(7.45") 


*)  Формула  (7.43)  следует  непосредственно  из  того,  что  сумма 
сигнала  и шума  в рассматриваемом  случае  распределена  нормально 
со  средним,  равным  а0,  и дисперсией  о$  + а2. 
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Если  необходимо  классифицировать  не  одно  наблюдение, 
а выборку  (Хь  . . Хк),  то  при  сохранении  предположе- 
ний о независимых  значениях  сигнала  и шума  следует 
в (7.45)  и (7.45  ) заменить  X и X2  суммами  наблюдаемых 
выборочных  значений  и квадратов  этих  значений  [см.  (1. 127) 
и (5.182)].  Оптимальное  устройство  обнаружения  сигнала 
состоит  из  двух  блоков:  согласованного  фильтра  и энерге- 
тического приемника  [см.  (5.87)].  Выходные  значения  сум- 
мируются, а сумма  затем  сравнивается  с порогом. 

Рассмотрим  теперь  ситуацию,  когда  априорные  сведения 
о сигнале  уточняются  в процессе  обучения  с учителем. 
Пусть  имеется  выборка  хіг  . . .,  хп,  о которой  известно, 
что  она  принадлежит  смеси  сигнала  и шума.  Апостериорное 
распределение  сигнала  определяется  по  формуле  (2.168) 


^і(а|лу,  5і)==-Ѵа(і  + -ЕІЛ 

ст  у 2л  ' чет 5 ) 


X ехр  [ 


а у 

_А_  ( ] і . °2  ) 
2 аз  I1  ' „о*) 


X 


П 


X 


(7.46) 


т.  е.  так  же,  как  и априорное  распределение,  является  нор- 
мальным. Отличие  состоит  в том,  что  параметры  апосте- 
риорного распределения  зависят  от  обучающей  выборки 


(7.48) 


Отсюда  слеДУет>  что  функция  правдоподобия 
ѴСі(Х\хі,  . . .,  хп ; 5і)  — нормальная  с параметрами  ап 
и °п  и что  правило  классификации  наблюдения  X при  нали- 
чии обучающей  выборки  хіг  . . .,  хп  получается  из  (7.45) 
и (7.45 ) заменой  а о величиной  условного  среднего  ап 
из  (7.47)  и ст2  — величиной  условной  дисперсии  а2п  из  (7.48/! 
Иначе  говоря,  структура  оптимального  устройства  обна- 
462 


П 


ружения  остается  неизменной,  а изменяются  при  обучении 
лишь  параметры  блоков,  входящих  в это  устройство. 
При  п-^со  из  (7.47)  и (7.48)  следует,  что 

П 

О-п  ~ Хі , 0„  > О, 

г=1 


и,  следовательно,  при  неограниченном  увеличении  размера 
обучающей  выборки  оптимальное  устройство  обнаружения 
приближается  к линейному  согласованному  фильтру  (вто- 
рое слагаемое  в левой  части  (7.45)  будет  стремиться  к нулю). 

Рассмотренный  пример  можно  обобщить  на  случай  кор- 
релированных значений  сигнала  и коррелированного  шума 
при  сохранении  предположения  об  аддитивности  шума 
и независимости  его  от  сигнала.  Пусть  вектор  средних 
значений  шума  нулевой,  а его  корреляционная  матрица 
равна  М.  Априорное  многомерное  нормальное  распределе- 
ние сигнала  характеризуется  вектором  средних  а0  и кор- 
реляционной матрицей  М0.  Априорное  распределение  ад- 
дитивной смеси  независимых  сигнала  и шума  также  нор- 
мальное с вектором  средних  а0  и корреляционной  матри- 
цей Мт  М0.  Имеется  векторная  обучающая  выборка 
хь  . . .,  х„,  принадлежащая  смеси  сигнала  и шума.  Тогда 
апостериорное  распределение  сигнала  после  обучения  также 
нормальное,  но  с измененными  (условными)  вектором  сред- 
них и корреляционной  матрицей.  Они  определяются  из 
следующего  рекуррентного  соотношения,  справедливого 
для  условных  вектора  средних  ап  и корреляционной  матри- 
цы нормального  распределения  [1]: 


а„  М (М„-1  + М)“1ал-1  + Мя_1(М„-1  + М)-1х„,  (7.49) 
м„=  М(М„-1  + МГ1М„_1.  (7.50) 

Из  (7.49)  и (7.50)  следует: 


(7.51) 

(7.52) 


Особенно  простой  вид  формулы  (7.51)  и (7.52)  приобре- 
тают в том  случае,  когда  М = ЯМ0,  где  X — положительное 
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число.  Тогда 


Я -\-п 


Я + 


” 1_ 

Т п п АЛ 


(7.53) 


М„ 


Я -\-п 


м. 


(7.54) 


В °Лн°мерном  случае  (7.53)  переходит  в (7.47),  а (7  54)  — 
в (7.48),  причем  Я = а2/а„.  ' ѵ ' ' 

Функция  правдоподобия  Г (Х|Хоб;  5і)  в общем  случае 
является  многомерной  нормальной  функцией  распределе- 
ния, характеризуемой  вектором  средних  ап  и корреляцион- 
Н°/7  Фу™циеи  м»>  определяемыми  по  формулам  (7.51) 
и (7.52).  Следует  подчеркнуть,  что  только  условные  средние 

°буЧаЮЩИХ  выбоР°к  (точнее,  от  выборочного 
среднего),  а условная  корреляционная  матрица  зависит 
лишь  от  размера  п обучающей  выборки. 

7.3.3.  Простой  перебор  и метод  угадывания.  Рассмотрим 
теперь  задачу  обнаружения  неизвестного  сигнала  в шумах 
при  обучении  без  учителя,  когда  обучающая  выборка 
не  классифицирована.  Это  означает,  что  заранее  неизвестно 
принадлежит  ли  данное  выборочное  значение  х,  смеси  сиг- 
нала и шума  или  только  шуму.  При  этом  на  пути  построения 
правила  классификации  наблюдения  X по  критерию  макси- 
мальной апостериорной  вероятности  сразу  же  возникает 
/В  , определении  апостериорной  плотности  пара- 
ѵ Ра  , 1 ФІ  лоб1  «О  для  неклассифицированной  выборки 

Лоб  = (Хі хп). 

у,ѵСамый  простой  выход  из  этого  затруднения  состоит, 
как  кажется,  в переборе  всех  возможных  последовательно- 
стей Хі,  . . .,  Хп,  любой  член  Хі  которой  может  принадлежать 
либо  смеси  сигнала  и шума  (состояние  5)),  либо  только  шуму 

(состояние  50).  Для  любой  частной  последовательности  П(Ю 
состоянии  при  обучении 

П,(гЛ)=  (5<‘),  . . .,  5<п>), 

™1КаЖ«ЫЙ  И3  элеменТ0В  5<і)>  / = 1,  ■ . ..  П может  совпа- 
иГ/  IV  С(^)51’  ЛИб°  С 5°’  апостеРи°Рная  плотность 
В в 7 ч о ’ Пп  * вычисляется  по  методике,  указанной 
8 і.а.х,  т.  е.  как  при  обучении  с учителем.  Число  раз- 
личных последовательностей  для  обучающей  выборки  раз- 
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мером  п равно  2п.  Тогда 

9П 

іт,  (а  I Хоб)  = V (а  1 Хоб;  П^)  Р {П(„к)  | Хоб},  (7.55) 

к=  1 

где  Р (п'й)  I Хоб}  — вероятность  того,  что  в обучающей 
выборке  реализуется  последовательность  состояний  П^\ 
(Эта  вероятность  может  быть  легко  вычислена,  если  пред- 


Рис.  31.  Блок-схема  адаптивного  устройства  обнару- 
жения неизвестного  сигнала  при  обучении  без 
учителя. 

положить,  например,  что  появление  или  непоявление  сигна- 
ла при  обучении  независимо  и известна  априорная  вероят- 
ность появления  сигнала  в любом  данном  наблюдении.) 

Из  (7.55)  следует,  что  оптимальное  устройство  обнаруже- 
ния при  самообучении  на  выборке  размером  п должно 
содержать  2п  устройств,  каждое  из  которых  такое  же,  как 
и при  обучении  с учителем  (согласованный  фильтр  и энер- 
гетический приемник).  Выходы  указанных  устройств  умно- 
жаются на  весовые  коэффициенты  Р (П^  | Хоб)  и затем 
суммируются.  Блок-схема  такого  устройства  для  простого 
случая  обучающей  выборки  из  двух  элементов  показана 
на  рис.  31.  При  п = 3 устройство  стало  бы  примерно  вдвое 
сложнее.  Для  размера  обучающей  выборки  порядка  несколь- 
ких десятков  реализуемость  устройства,  основанного  на 
переборе,  становится  по  меньшей  мере  проблематичной. 
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Естественно,  что  при  малом  размере  п обучающей  выборки 
рабочие  характеристики  классификации  оказываются  пло- 
хими, а по  мере  увеличения  п они  приближаются  к характе- 
ристикам  алгоритмов  с полностью  известной  статистикой 
распознаваемых  классов.  При  этом,  однако,  сложность 
оптимального  устройства  при  обучении  без  учителя  растет 
как  2П.  г 

Было  показано  [44],  что  для  определения  апостериорной 
плотности  неизвестного  параметра  класса,  можно  указать 
конечный^  вычислительный  алгоритм  классификации,  не 
зависящий  от  размера  обучающей  выборки,  тогда  и только 
тогда,  когда  обучающие  наблюдения  хи  . . .,  хп  характе- 
ризуются достаточной  статистикой  конечной  размерности. 
Для  рассматриваемой  здесь  задачи  обнаружения  неизвест- 
ного сигнала  плотность  вероятности  любого  элемента  обу- 
чающей выборки  (без  учителя)  имеет  вид  [см.  (7.13)]  ’ 


(Хі  | а) : 


а ф7  2я 


1-Р_ 

а ~\/  2л 


ехр  Г 


— 1 
2 о*  ] ■ 


Осрсі,  (7.56) 

где  р вероятность  наличия  сигнала.  Но,  как  доказано 
в работе  [11],  для  плотностей  вероятностей  вида  (7.56) 
не  существует  достаточной  статистики  конечной  размер- 
ности. Отсюда  следует,  что  сложность  любого  оптимального 
устройства  обнаружения  при  обучении  без  учителя  должна 
неограниченно  возрастать  при  увеличении  размера  обучаю- 
щей выборки. 

Рассмотрим  одну  из  возможностей  упрощения  правила 
классификации  при  обучении  без  учителя  ценой  потери 
оптимальности  этого  правила.  Так  как  оптимальное  устрой- 
ство обнаружения  неизвестного  сигнала  при  обучении  с учи- 
телем имеет  приемлемо  простую  структру,  а аналогичное 
устройство  при  самообучении  необозримо  усложняется, 
то  в последнем  случае  естественной  представляется  про- 
цедура, состоящая  в угадывании  последовательности  состоя- 
ний (х4  — смесь  сигнала  и шума,  50  — только  шум)  при 
переходе  от  одного  элемента  обучающей  выборки  к другому 
и в использовании  этой  отгадки  так,  как  будто  бы  она 
правильна  (как  если  бы  она  была  «учителем»)  *).  Структура 


*)  По  этой  причине  метод  угадывания  иногда  называют  обуче- 
нием с реальным  учителем,  т.  е.  с таким  учителем,  который  может 
ошибаться.  г 
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устройства  обнаружения  становится  при  этом  тождест- 
венной структуре  оптимального  устройства  обнаружения 
с учителем,  причем  результаты  отгадок  при  самообучении 
используются  для  изменения  параметров  этого  устройства 
по  формулам,  указанным  в § 7.3.2.  Но  так  как  при  угады- 
вании неизбежны  ошибки,  устройство  обнаружения  теряет 
свойство  оптимальности.  Однако,  как  отмечено  в [44], 
для  удовлетворительной  работы  такого  устройства  обнару- 
жения нет  необходимости,  чтобы  угаданная  последователь- 
ность состояний  была  в точности  правильной.  Было  дока- 
зано, что  при  больших  размерах  п обучающей  выборки 
существует  подмножество  множества  2П  всех  возможных 
последовательностей  состояний,  обладающее  двумя  свойст- 
вами: 1)  вероятность  присутствия  истинной  последователь- 
ности состояний  в этом  подмножестве  близка  к единице, 
2)  если  отгаданная  последовательность  является  элементом 
этого  подмножества,  то  устройство  обнаружения,  исполь- 
зующее метод  отгадывания,  при  п -*■  оо  стремится  к опти- 
мальному. К сожалению,  пока  не  найдены  эффективные 
методы  отыскания  подмножеств,  обладающих  указанными 
свойствами. 

Видоизменение  метода  угадывания  последовательности 
состояний  в обучающей  выборке  представляет  подход, 
который  базируется  на  предположении,  что  последователь- 
ность решений  в процессе  самообучения  является  серией 
догадок  [41].  При  таком  подходе  параметрам  устройства 
обнаружения  неизвестного  сигнала  вначале  приписываются 
произвольные  значения.  Каждый  раз,  когда  устройство 
выдает  решение  о наличии  сигнала,  параметры  устройства 
изменяются  в соответствии  с принятым  в этот  момент  сигна- 
лом. Аналогичный  подход  с небольшими  изменениями  ис- 
пользовался в [29]. 

7.3.4.  Адаптивный  байесовский  подход.  Обычный  байесов- 
ский подход,  который  использовался  во  всех  предыдущих 
главах  книги,  требует  знания  априорных  распределений 
неизвестных  параметров.  В § 7.3.1  этой  главы  начальное 
априорное  распределение  параметра  класса  видоизменялось 
при  обучении  с учителем.  Нельзя  ли  в задачах  клас- 
сификации воспользоваться  обучением  с учителем  для  того, 
чтобы  использовать  байесовский  подход  без  какого-либо 
начального  априорного  распределения?  Утвердительный 
ответ  на  поставленный  вопрос  базируется  на  одной  теореме, 
установленной  С.  Н.  Бернштейном  и Р.  Мизесом  [14]. 
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Сущность  ее  состоит  в следующем.  Пусть  л;,  — выборочное 
значение  из  распределения  с неизвестным  (случайным) 
параметром  Ѳ.  Апостериорное  распределение  этого  парамет- 
ра равно 


Г1(0|х1)  = щ1(Ѳ)- Уі  (Х)|Ѳ) 


щ (0)  Г4  (хі  I 0)  с/Ѳ 


(7.57) 


где  щ (Ѳ)  — априорная  плотность  вероятности  парамет- 
ра Ѳ.  Если  извлекается  следующее  выборочное  значение  х2, 
то  ІЕ4  (Ѳ  I х,)  может  быть  использовано  в качестве  нового 
априорного  распределения  для  вычисления  апостериорного 

Щ (х2  | Ѳ) 


(Ѳ  | Хі,  Л'2)  = Г1(Ѳ|Х1) 
= щ (Ѳ) 


| щ (Ѳ I х4)  щ (х2 1 Ѳ)  аѳ 

— оо 

^1  (Хі  I Ѳ)  Ц-  ! (х2  I Ѳ) 


I щ (Ѳ)  (Хі  1 Ѳ)  г,  (х2 1 Ѳ)  аѳ 


(7.58) 


Аналогично,  когда  имеется  выборка  п независимых  эле- 
ментов Хі,  . . . , хп, 

\Ѵп  (х{,  . . .,  хп  | 0) 


№і(Ѳ\Хі,  . . хп)  = щ4(Ѳ) 


I щ(Ѳ)ѴГп(Хі,  ...,хп\Ѳ)М 


(7.59) 


где 

Ѵп(х  1,  ...,*„|Ѳ)  = [І  1Е4  (хі  I Ѳ). 

&=  1 

Упомянутая  выше  теорема  утверждает,  что  если  априор- 
ная плотность  \Ѵі  (Ѳ)  параметра  Ѳ непрерывна,  то  по  мере 
возрастания  объема  выборки  апостериорное  распределе- 
ние \Ѵі  (Ѳ  | Хі,  . . .,  хп)  перестает  зависеть  от  априорного 
распределения.  Таким  образом,  если  только  существует 
непрерывная  априорная  плотность  параметра,  то  при  доста- 
точно большом  п более  или  менее  безразлично,  какую  функ- 
цию щ4(Ѳ)  подставить  в формулу  (7.59).  Эта  предельная 
теорема  послужила,  по-видимому,  идейной  основой  адаптив- 
ного байесовского  подхода  *)  к проблеме  классификации, 
предложенного  Роббинсом  [14,  16]. 

* ) Часто  рассматриваемый  метод  называют  эмпирическим 
байесовским  подходом. 
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Пусть  (хи  ѲО,  . . (хп,  Ѳ„)  - последовательность  не- 
зависимых пар  случайных  величин,  причем  все  Ѳь  і — 
= 1,  . . п,  подчиняются  одному  и тому  же  априорному 
(неизвестному)  распределению  (Ѳ),  а все  Хі  — распреде- 
лению 


Шх{х)=  I Г1(х|Ѳ)а»1(Ѳ)с(Ѳ. 


Для  дискретных  Хі 


— сю 


Если  принимается  решение  у о том,  что  наблюдение  X 
принадлежит  распределению  ѴР 4 (х  | Ѳ),  то  возникают  поте- 
ри, определяемые  неотрицательной  функцией  ІІ  (у,  Ѳ). 
Так  как  (Ѳ)  неизвестно,  то  правило  выбора  решения 
строится  по  обучающей  выборке  Х\,  ■ ■ ■ , хп  (вели- 
чины Ѳь  . . . , Ѳ„  остаются  всегда  неизвестными).  Жела- 
тельно, чтобы  это  правило  при  неограниченном  увеличении 
размера  обучающей  выборки  приближалось  к байесовскому 
правилу  выбора  решения,  когда  од4  (Ѳ)  известно.  Правило, 
удовлетворяющее  этому  требованию,  назовем  асимптоти- 
чески оптимальным.  В работе  [ 17 1 указан  способ  построе- 
ния асимптотически  оптимальных  правил.  Ограничимся 
изложением  этого  способа  применительно  к двухальтерна- 
тивной задаче  теории  статистических  решений  с неизвестным 
априорным  распределением  параметра  Ѳ,  определяющего 
статистику  наблюдений  (работа  [171  содержит  общую 
постановку). 

Обозначим 


Д(*)=  $ [Щуі,  Ѳ)-П(у0,  Ѳ)1  ИМ*  I Ѳ)  ой  (ѲМѲ  (7.60) 


и предположим,  что  функция  А„  (X)  от  наблюдения  X, 
вид  которой  зависит  от  обучающей  выборки  лд,  . . .,  хп, 
сходится  по  вероятности  к А (X)  при  п -*■  оо.  Тогда  асимп- 
тотически оптимальным  правилом  выбора  решения  будет 
следующее:  принимается  решение  у0,  если 


А„  (Х)>0, 


(7.61) 
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и принимается  решение  у4,  если  выполняется  неравенство, 
противоположное  (7.61).  (Для  дискретных  распределе- 
ний ѴС'і  (х  | Ѳ)  в (7.60)  следует  заменить  на  Р {хі  = х | Ѳ}.) 

Рассмотрим  пример,  иллюстрирующий  возможность  фак- 
тического построения  последовательности  функций  Д„  (х), 
сходящихся  по  вероятности  к А (х).  Проверяется  одно- 
сторонняя гипотеза  Н0  о том,  что  параметр  Ѳ пуассоновского 
распределения  дискретной  случайной  величины  х не  пре- 
восходит заданной  величины  Ѳ0,  т.  е.  Ѳ<Ѳ0.  Пусть  у0  — 
решение,  состоящее  в принятии  гипотезы  Н0,  а Уі  — в откло- 
нении этой  гипотезы.  Зададим  функцию  потерь  П (у , 0) 
в виде 


П(Т"'Ѳ)  { Ѳ — Ѳо 

»<*«»-{  V 


ѳ<ѳ0, 
ѳ > ѳ0, 
Ѳ<Ѳо, 

ѳ>ѳ0. 


(7.62) 

(7.62') 


Так  как  для  пуассоновского  распределения  дискретной  слу- 
чайной величины 


Р{х  = Х;  |Ѳ}  = -^е~ѳ,  Ѳ > 0,  х = 0,  1,2,...,  (7.63) 

то,  подставляя  (7.63)  в (7.60)  [вместо  ІРДхІѲ)],  получим 
с учетом  (7.62),  (7.62') 


оо 

А (х)  =4  (Ѳ0  - Ѳ)  е-вШі  (Ѳ)  М = (х)  - (х+ 1)  Р{  (х+  1), 

(1  (7.64) 

где 


(х)  = ^ 7Г  (Ѳ)  сЮ  = Р {хг  = х).  (7.65) 

о 


Введем  счетчик  совпадений 


V (*,  У)  = 


1, 

0, 


х = у 

Хфу 


(7.66) 


и рассмотрим  следующую  функцию  от  х,  зависящую  от 
обучающей  выборки  хи  хп: 

П 

ип(х)  = 7 2 ѵ(х,  Хі).  (7.67) 

І=  1 
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Сумма  в правой  части  (7.67)  равна  числу  тех  обучающих 
выборочных  значений,  которые  в точности  равны  х,  и,  сле- 
довательно, ип  (х)  представляет  эмпирическое  распределе- 
ние х,  сходящееся  при  п — >■  оо  по  вероятности  к Р і (л:) 
[см.  (7.65)].  Тогда  функция 

А п(х)  — Ѳ0ип(х)  — (х+  1 )ип(х+  1)  (7.68) 

сходится  по  вероятности  к А (я),  определенной  согласно 
(7.64).  Отсюда  следует  асимптотически  оптимальное  пра- 
вило: при  наличии  обучающей  выборки  хіг  . . .,  хп  прини- 
мается решение  у0  (справедлива  гипотеза  Я0),  если 

^ 2 ѵ (X,  х,)-  2 ѵ (Х+  1 , Хі)  > 0,  (7.69) 

І=1  і=1 

и решение  (гипотеза  Н0  неверна),  если  имеет  место  нера- 
венство, противоположное  (7.69). 

7.4.  СТОХАСТИЧЕСКАЯ  АППРОКСИМАЦИЯ 

7.4.1.  Нули  и экстремумы  функции  регрессии.  Пусть 
каждому  значению  параметра  Ѳ соответствует  случайная 
величина  х с функцией  распределения  Рі  (х  | Ѳ),  причем 
Ші  {х  | Ѳ}  = т (Ѳ).  Требуется  найти  решение  уравнения 
регрессии 

т (Ѳ)  = 0 (7.70) 

в предположении,  что  оно  имеет  единственный  корень  и что 
функции  Рі  (х  | Ѳ)  и т (Ѳ)  неизвестны.  Роббинс  и Монро 
предложили  [13]  итерационную  процедуру  так  называемой 
стохастической  аппроксимации  для  построения  оценок 
указанного  корня  при  помощи  обучающей  выборки 
хи  . . .,  хп,  для  каждого  элемента  хк  которой 

ті{хк\%}=  тфь). 

Оценка  0П+1  искомого  корня  находится  из  оценки  Ѳ„ 
по  обучающему  выборочному  значению  хп  из  соотношения 

Ѳ„+і=  Ѳп  + апХп,  п>  1,  (7.71) 

причем  Ѳ4  = Ѳ4  — произвольное  постоянное  число.  Если  коэф- 
фициенты ап  удовлетворяют  условиям 

ОО  оо 

У±  ап=  со,  2ап<°°5  (7.72) 

п-=1  п=  1 
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то  при  неограниченном  увеличении  размера  п обучающей 
выборки  оценка  Ѳ„+1  стремится  по  вероятности  к корню 
уравнения  (7.70).  Заметим,  что  условиям  (7.72)  удовле- 
творяет, например,  гармонический  ряд  (а„=-М  . 

Аналогичная  итерационная  процедура  может  быть 
использована  для  определения  экстремума  унимодальной 
функции  регрессии  т (Ѳ).  Такая  процедура,  предложенная 
Кифером  и Вольфовицем  [13],  позволяет  определить  оцен- 
ку Ѳ„+1  экстремального  значения  функции  регрессии  в зави- 
симости от  предыдущей  оценки  Ѳд  и обучающих  выборочных 
значений  х2п  и х2п~і  из  соотношения 


-чн  1 


Ѳп 


х2  п х2п-\ 


(7.73) 


причем  выборки  х2п  и х2п-і  независимы  и соответствуют 
значениям  параметра  Ѳ„ф-с„  и Ѳп  — сп.  Начальная  величи- 
на Ѳ,,  как  и в предыдущем  случае,  произвольная.  Если 
коэффициенты  ап  и сп  удовлетворяют  условиям 

ап>  0,  с„>  0,  сп=>  0 при  п ^ оо , (7.74) 


Уап=  оо,  2а„с„<оо,  ^ °° ’ (7-74) 

71=  1 71=  1 П=  1 


то  при  неограниченном  увеличении  размера  обучающей 
выборки  оценка  Ѳ„+1,  определенная  согласно  (7.73),  стре- 
мится по  вероятности  к экстремальному  значению  функции 
регрессии. 

При  некоторых  дополнительных  требованиях  к функ- 
ции т (Ѳ)  оценки  Ѳ1+ь  определяемые  согласно  (7.71)  и (7.73), 
могут  сходиться  в среднеквадратическом  к нулю  и экстре- 
муму функции  регресссии  соответственно.  Имеются  также 
обобщения  указанных  процедур  на  многомерный  случай 
(см.  [13]). 

Рассмотренные  алгоритмы  могут  быть  использованы 
и для  оценки  нуля  или  экстремума  функции  ту  {/  (х)  | Ѳ } , 
где  / (х)  — заданная  функция  случайной  величины  х с рас- 
пределением Рі  (х  | 0).  В этом  случае  в формулах  (7.71) 
и (7.73)  вместо  обучающих  выборочных  значений  хк  следует 
подставить  І(хк). 

Недостатком  методов  стохастической  аппроксимации 
является  пока  отсутствие  каких-либо  систематических  ука- 


заний  на  способы  выбора  коэффициентов  ап  и сп  в (7.71) 
и (7.73),  обеспечивающих  достаточно  быструю  сходимость 
итерационных  процессов,  а также  способов  вычисления 
точности  оценок,  которые  позволяли  бы  на  каком-то  шаге 
остановить  этот  процесс.  Однако  достоинством  рассмотрен- 
ных алгоритмов  оценки  является  их  простота,  позволяющая 
относительно  легко  реализовать  итерационный  процесс. 

7.4.2.  Оценка  параметров  и функций  распределения. 
Стохастическая  аппроксимация  может  быть  использова- 
на для  оценки  неизвестных  параметров  и функций  распре- 
деления классов  [20].  В качестве  простейшего  примера 
рассмотрим  сначала  оценку  неизвестного  среднего  значе- 
ния. Пусть  параметр  в (7.70)  представляет  неизвестное 
среднее.  Тогда,  полагая  } (х)  = х — Ѳ0,  получим  уравне- 
ние регрессии 

Ші{х  — Ѳ„|Ѳ}  = 0, 

и из  (7.71)  находим  рекуррентное  соотношение  для  оценки 
неизвестного  среднего  (корня  уравнения  регрессии): 


Ѳд+1  — Ѳд  &п  (Хп  Ѳд)  — Ѳд  ( 1 

&п)  ^д-^д* 

(7.75) 

При  ап=  ~ из  (7.75)  следует,  что 

п 

Ѳд+і = ~ 2 ^ * 
і=  1 

(7.75') 

т.  е.  оценка  среднего  значения  равна  среднему  арифметиче- 
скому обучающих  выборочных  значений. 

Если  а2  — неизвестная  дисперсия  случайной  величины  х 
с нулевым  средним,  то,  полагая  / (х)  = х2  — о2,  получим 
уравнение  регрессии 

Ші  {х2  — а2  [ о2}  = 0 

и соответствующий  ему  алгоритм  оценки  дисперсии 

^п+1  = ^НМ^-^)  = обо- 

-ап) + апхІ. 

(7.76) 

при  а„  = ^-  из  (7.76)  следует: 

(7 2 — . _1_  X1  у2 

п+1  п Аі  г ' 

(7.76') 

І=1 


Можно  применить  стохастическую  аппроксимацию  и для 
оценки  неизвестной  плотности  (х)  по  обучающим  выбор- 
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кам,  принадлежащим  этой  плотности,  если  воспользоваться 
разложением  в ряд  по  ортогональным  функциям  С}к  (х) 
[см.  (2.120)  в первой  книге].  Тогда  оценка  неизвестной 
плотности  сводится  к оценке  коэффициентов  разложения 

сХ^тіЩьіх)}  (7.77) 

из  соотношения 


І0л  (Хп)  - С>>] , к = 1,2,...  (7.78) 

При  а<«  = - 
^ л /г 

п 

^-1=“  2^  (**)■  (7-78') 

г=1 

7.4.3.  Различение  двух  неизвестных  сигналов.  Для  ил- 
люстрации итерационной  процедуры  (7.73)  рассмотрим  зада- 
чу о различении  двух  сигналов  50  и 51(  функции  распределе- 
ния которых  х0і  (х | 50)  игШі(х]  5^  неизвестны.  Правило  выбо- 
ра решения  состоит  в сравнении  наблюдения  X с порогом  Ѳ. 
Если  X <с  Ѳ,  то  наблюдение  относится  к сигналу  50, 
а если  Х>Ѳ,  то  — к сигналу  $(.  Необходимо,  используя 
обучающие  выборки,  выбрать  порог  Ѳ таким  образом,  чтобы 
минимизировать  средний  риск. 

Согласно  (1.18)  средний  риск  в рассматриваемом  случае 
равен 

оо 

# (Ѳ)  - § [<?П01Ш!  {X  | 50)  + рПцШі  ( X | «О]  СІХ  + 
ѳ 
о 

+ § [<?ПооШі  (х  | 50)  + рП10щ  (х  | 5()]  с/х,  (7.79) 


где  р и <7  — априорные  вероятности  появления  сигналов 
и 50,  а П ц,  (і,  / = 0,  1)  — элементы  платежной  матрицы. 
Вводя  решающую  функцию  (см.  § 1.2.1) 


Ф(х,  0)  = 


0,  х<Ѳ, 

1,  х>Ѳ, 


(7.80) 


можно  выражение  среднего  риска  записать  в виде 

Я(Ѳ)=  § {Ф(*,  Ѳ)  [<?П01Ші(х|50)  + /Я111ау1(л:|51)]  + 

+ [1  — Ф(х,  Ѳ)]  [дП00щ  (х  1 50)  -ЕрПю®!  (х  1 54)]}  йх.  (7.81) 
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Из  (7.81)  следует,  что  средний  риск  Я (Ѳ)  представляет 
функцию  регрессии  для  дискретной  случайной  величины 
с четырьмя  возможными  значениями 

у = [(х)  = Пи,  і,  / = О,  1,  (7.82) 

когда  х — выборочное  значение  из  распределения  сигнала  5;  и 

Ф (х,  Ѳ)  = / . (7.82') 

Таким  образом, 

Я(&)  = т1{Нх)  |Ѳ),  (7.83) 

и задача  об  определении  оптимального  порога  Ѳ*  для  клас- 
сификации наблюдения  сводится  к вычислению  минимума 
функции  регрессии  (7.83)  при  неизвестных  распределениях 
сигналов. 

Оставляя  в стороне  исследование  функции  регрессии, 
имеющей  несколько  экстремумов,  ограничимся  случаем 
единственного  минимума,  как  показано  на  рис.  32 


Рис.  32.  Функция  среднего  риска. 


(при  П,о  = П01  = 1 и Поо  = П„  = 0).  Для  оценки  опти- 
мального порога  Ѳ*  может  быть  использован  итерационный 
алгоритм  (7.73) 

Ѳп+1  = Ѳ»  + Дд  У2п~У2п~1 , (7.84) 

с П 

где  У2п  = Пи,  когда  х2п  — выборочное  значение  из  сигнала 
5;  и Ф (х2п,Ѳп  + Сп)  = І,  г/2п-1  = Пгу,  когда  ЛГ2П-І  — выбороч- 
ное значение  из  сигнала  5*  и Ф(х2п-1,  Ѳ„  — сп)  — }. 

Оценка  Ѳ4  на  первом  шаге  представляет  произвольную 
постоянную,  а коэффициенты  ап  и сп  подчинены  условиям 
(7.74),  (7.74'). 

При  неограниченном  увеличении  размера  п обучающих 
выборок  оценка  Ѳп+)  стремится  по  вероятности  к оптималь- 
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ному  порогу  Ѳ*,  для  которого  средний  риск  7?  (Ѳ*)  имеет 
минимально  возможную  величину.  При  дополнительных 
предположениях  о функции  (0)  сходимость  может  обеспе- 
чиваться и в среднеквадратическом  (см.  [26]). 
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Продолжение  при  лож.  II 
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Приложение  IV 


Корреляционный  эллипсоид 

Рассмотрим  совокупность  п случайных  величин  |1( 

• • •>  Обозначим  среднее  значение  случайной"  вели- 
чины ёг  через  а,,  а ковариацию  случайных  величин  I- 
и І } через  гіі  = гпі  {(^г  — а,-)  (|7-  — а,-)}.  Матрица  ЛІ 
составленная  из  элементов  ги  ( і , / = 1,  . . п),  представ- 

ляет корреляционную  матрицу  совокупности  случайных 
величин. 

Эллипсоид,  уравнение  которого  имеет  вид 

П П о 

2 2-^(г«-а*)(2;-а;)=1,  П>0,  (1) 

і=і  3=1 


называется  корреляционным.  В уравнении  (1)  — алгеб- 

раические дополнения  элемента  аи  в матрице  М,  а О — 
ее  детерминант.  Линейным  (ортогональным)  преобразовани- 
ем переменных  квадратичная  форма  в левой  части  (1) 
приводится  к сумме  квадратов 


Здесь  К — характеристические  числа  корреляционной 
матрицы,  являющиеся  корнями  уравнения 

|М-ЛІ|  = 0, 

гДе  I — единичная  матрица. 

Уравнение  (2)  представляет  л-мерный  эллипсоид  с полу- 
осями, равными  ]УЯЙ,  к которому  приводится  эллипсоид  (1) 
вращением  (ортогональным  преобразованием).  Объем  рас- 
сматриваемого эллипсоида  равен 


П 


Таким  образом,  квадрат  объема  эллипсоида  пропорционален 
величине  детерминанта  П,  которую  иногда  называют  обоб- 
щенной дисперсией.  При  п = 1 эта  величина  равна 


П = Щ{{Ъ-а)*}  = о*, 
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е.  совпадает  с обычной  дисперсией  случайной  величины, 
при  п = 2 


0 = 


о; 


го, а 


1°2 


гвіві 

о: 


= оУа(1— г), 


где  а2,  о2,  и г — дисперсии  и коэффициент  корреляции 
двух  случайных  величин. 

Если  корреляционный  эллипсоид  (1)  растянуть  в 
уп  2 раз,  то  получаем  эллипсоид  рассеяния.  Для  совокуп- 
ности нормальных  случайных  величин  плотность  вероятнос- 
ти на  эллипсоиде  рассеяния  постоянна  (см.  первую  книгу, 
стр.  59  и 66).  Для  произвольного  распределения  корреля- 
ционный эллипсоид  обладает  тем  свойством,  что  совокуп- 
ность случайных  величин,  распределенных  равномерно 
по  области  п-мерного  пространства,  ограниченного  этим 
эллипсоидом,  имеет  те  же  первые  и вторые  моменты  (кова- 
риации), как  и заданная  совокупность  случайных  величин. 


Приложение  V 


Регрессия 

Пусть  I и г|  — зависимые  случайные  величины,  характе- 
ризуемые совместной  плотностью  вероятностей  ш2  (х,  у). 
Условное  среднее  значение  г|  при  \ — х (см.  (2.108)  в пер- 
вой книге),  рассматриваемое  как  функция  переменного  х, 
задает  кривую  регрессии 

оо 

^ ут 2 ( х , у)  Лу  оо 

г = Ші  (г)  ( А'}  = — ^ ( У \Х)^У-  (1 ) 

)'  Щ (А.  у)  А у 

— сю 

Нетрудно  доказать  (см.  для  аналогии  задачу  2.6  в пер- 
вой книге),  что  среди  всех  возможных  функций  § (а)  мини- 
мум среднеквадратического  отклонения  пц  {[т|  §(е)г/ 

достигается  при 

8(х)  = т1{р\х}.  (4 

В некоторых  случаях  рассматривают  аппроксимацию  г\ 
посредством  % по  критерию  минимума  среднею  квадрата 
отклонения  ц от  / Ц )для  заданного  класса^функций  § (х), 
определенных  с точностью  до  неизвестных  параметров. 
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Например,  если  § (л:)  — а{х  + а2,  то  ищут  такие  значения 
а,  а2,  для  которых  гщ  {(л  - - а2)2}  минимальны. 

рямая  2 ахх  Н а2  в этом  случае  называется  прямой 
средней  квадратической  регрессии.  Более  общим  является 
случаи  полиномиальной  средней  квадратической  регрес- 
сии, когда  р р 

8 (х)  = аіХп  + а2хп~1  + . . . + ап+1. 

В случае  линейной  средней  квадратической  регрессии  мини- 
мум піі  {(г)  — — а2)2}  достигается  при 


= г \ 


/ЛѴГПІ 

м2  ш ’ 


а2  = т1{г]}—а1т1  {Е}, 


(3) 


тег--  коэффициент  корреляции  случайных  величин  Нин. 

рямая  средней  квадратической  регрессии  при  этом  за- 
дается уравнением 

2 = т,{ч>-Н*  — тЩЯ&Ш!.  (4) 

Если  и т)  зависимые  нормальные  случайные  вели- 
чины, то  правая  часть  (4)  в точности  совпадает  с условным 
средним  г]  при  % = х (см.  стр.  87  в первой  книге).  Отсюда 
следует,  что  прямая  средней  квадратической  регрессии 
для  нормальных  случайных  величин  совпадает  с кривой 
регрессии.  Иначе  говоря,  линейная  аппроксимация  г]  посред- 
ством Н по  критерию  минимума  среднего  квадрата  ошибки 
является  наилучшей. 

Приведенные  понятия  обобщаются  на  произвольную 
конечную  совокупность  взаимозависимых  случайных  вели- 
чин ёь  . . .,  Іп.  Условное  среднее  значение  Е,  при  Е;  = 
= хи  і — 2 п,  равно 


оо 

^ (а^,  • • • » Хп)  СІХі 

П1Л  {^1  | • • • » Хп}  = — . (5) 

(^"і»  • • • і Хп)  (ІХ^ 

— оо 

Геометрическое  место  точек  (пц  {.},  лг2,  . . Хп)  ПрН  все- 
возможных значениях  х2,  . . .,  хп  есть  гиперповерхность 
регрессии.  Может  быть  определена  гиперплоскость  средней 
квадратической  регрессии 

П 

г1  = т\  {!і}  + Ри  [Хі  — Ші  {Е;}]. 
і=2 
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(6) 


Величины  р,;  определяются  из  системы  линейных  уравнений 


где 


Ьцри  — Ьц,  і — 2,  , п. , 

3=  2 


Ьц  = гщ{Ы]}, 


(7) 

(7') 


так  что,  обозначая  через  алгебраические  дополнения 
в матрице  ||й^-||,  имеем 


Ріі 


Оіі 
Он  ' 


(8) 


Можно  показать,  что  гиперповерхность  регрессии  для  сово- 
купности нормальных  случайных  величин  совпадает  с гипер- 
плоскостью средней  квадратической  регрессии. 


32-197 


НАИБОЛЕЕ  УПОТРЕБИТЕЛЬНЫЕ  ОБОЗНАЧЕНИЯ 

А,А0  — амплитуда  сигнала, 

А (со)  — амплитудный  спектр, 

А (0  — квадратурная  составляющая  про- 
цесса, 

а — среднее  значение  нормальной  слу- 
чайной величины,  амплитуда  детер- 
минированного сигнала, 

В (Е  У)  ~ корреляционная  функция  случай- 
ного процесса, 

В(х)  — корреляционнаяфункция  стационар- 
ного в широком  смысле  процесса, 
Віг)  ((,  у)  взаимная  корреляционная  функция 
случайных  процессов  І (?)  и г)  ((), 
Віп  СО  --  взаимная  корреляционная  функция 
стационарно  связанных  в широком 
смысле  случайных  процессов  I (?) 

И Т]  ((), 

Ьп  — смещение  оценки, 

С (()  — квадратурная  составляющая  про- 
цесса, 

с,  с*  — пороги, 

С (со)  — частотная  характеристика  линейной 
системы, 

О — детерминант  корреляционной  мат- 
рицы, 

<іх,  йт  параметры  рабочих  характеристик 
обнаружения  сигнала, 

Е (/)  огибающая  случайного  процесса, 

Е — энергия  сигнала, 
е — относительная  эффективность  оцен- 
ки, 

Рп{хі,  . . хАу)  — УѴ-мерная  интегральная  функция 
распределения, 

Р (х)  — интеграл  Лапласа, 

Р (“)  — энергетический  спектр  стационарно- 
го (в  широком  смысле)  случайного 
процесса, 

Еіг\  (м)  взаимный  энергетический  спектр  ста- 
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ционарно  связанных  (в  широком 
смысле)  случайных  процессов  | (() 
и Л (О, 

/ (П)  — критерий  качества, 

О — область  пространства  выборок, 

Н — гипотеза, 

Н (5)  — энтропия, 

Н (з  | у)  — условная  энтропия, 
к ((,  у,  и)  — резольвента, 

к (и,  ѵ)  — импульсная  переходная  функция 
линейной  системы,  весовая  функция 
к*  (и,  ѵ ) — импульсная  переходная  функция 
оптимальной  линейной  системы, 

/„  — информация  по  Фишеру, 

/ — количество  информации, 

^ѵ  — бесселева  функция  1-го  рода  ѵ-го 
порядка, 

/ѵ  — бесселева  функция  1-го  рода  ѵ-го 
порядка  от  чисто  мнимого  аргу- 
мента, 

К {и,  ѵ)  — ядро  квадратичной  интегральной 
формы,  характеристики  фильтра 
второго  порядка, 

к*  (но)  — передаточная  функция  оптимальной 
линейной  системы, 

к (г'со)  — передаточная  функция  линейной 
системы, 

к (г)  — функция  распределения  Колмого- 
рова, 

К — порог, 

Ь — функция  правдоподобия, 

I — отношение  правдоподобия, 
т2  — второй  момент  случайной  амплиту- 
ды сигнала, 

Мъ  — к-н  центральный  момент, 

Л12  — дисперсия, 

М%  — выборочная  дисперсия, 
тк  — к- й момент, 

Ші  — среднее, 
т*  — выборочное  среднее, 
т — число  состояний,  число  непересекаю- 
щихся  областей  пространства  выбо- 
рок, 
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N — размерность  многомерного  априор- 
ного распределения, 

Л/0  — спектральная  плотность  белого  шу- 
ма, 

п — размер  выборки, 

Р — вероятность  события, 
р — априорная  вероятность, 

П — функция  потерь, 

<2тг  ( X ) — ПОЛИНОМ  ИЗ  СОВОКУПНОСТИ  ОрТОГО- 

нальных  полиномов, 
д — априорная  вероятность, 
г (/)  — реализация  огибающей, 

Г (й)  — условная  функция  риска, 

Я — средний  риск, 

Я*  — байесовский  риск, 

Я(х)  — коэффициент  корреляции, 

5 — пространство  параметров, 

5 (/)  — детерминированный  процесс  (сиг- 
нал), 

5 — параметр  распределения, 
зк  — возможные  состояния, 

8п  (х)  — плотность  вероятности  Стьюдента, 
Т — время  наблюдения, 
і — текущее  время,  нормированная 
ошибка  оценки, 

II  — - число  инверсий, 
и(і)  — квадратурная  составляющая  детер- 
минированного сигнала, 

V (()  — - решение  неоднородного  линейного 
интегрального  уравнения, 
ѵ (()  — квадратурная  составляющая  детер- 
минированного сигнала, 

\Ѵі(х),  Щі(х),  \Уі(х)  — одномерные  функции  распределения 

случайной  величины, 

ьѴ{^(Хі,  . . . , Хн)  — многомерная  функция  распределе- 
ния совокупности  случайных  вели- 
чин, 

№к(х !,  . . .,  Хк)  — функция  правдоподобия  выборки 
размером  п, 

X — вектор  выборочных  значений, 
ха  — процентное  отклонение  случайной 
величины, 

Хі  — выборочное  значение, 
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х(()  — реализация  случайного  процесса, 
г\і)  — комплексная  огибающая, 

1Т  (і'ш)  — спектр  усеченной  реализации  слу- 
чайного процесса, 
г — комплексная  переменная, 
г — величина,  комплексно  сопряженная 
с 2, 

а — условная  вероятность  ошибки  пер- 
вого рода,  условная  вероятность 
ложной  тревоги, 

Р — условная  вероятность  ошибки  вто- 
рого рода,  условная  вероятность 
пропуска  сигнала, 

Г (х)  — полная  гамма-функция, 

Г (х,  у)  — неполная  гамма-функция, 

у — решение;  коэффициент  доверия, 
б (х)  — дельта-функция, 

6(у|х)  — правило  выбора  решения, 

А — ширина  полосы  частот, 
е — относительная  длина  доверительно- 
го интервала, 

е2  — среднеквадратическая  ошибка, 

Л — усредненная  функция  правдоподо- 
бия, 

\к  — собственное  число  линейного  ин- 
тегрального уравнения, 
р — отношение  априорных  вероятностей; 

параметр  марковского  процесса, 

Чг  — функция  неопределенности, 
ф (/)  — реализация  фазы, 

І — случайная  величина, 

^ (()  — случайный  процесс, 
г)  — случайная  величина, 
т]  (()  — случайный  процесс, 

X2  — случайная  величина,  распределен- 
ная по  закону  хи-квадрат, 

Іш  — мнимая  часть, 

' Ке  — действительная  часть, 


| — число  сочетаний  из  п элементов  по  к, 


6 — символ,  обозначающий  принадлеж- 
ность множеству. 


ПРЕДМЕТНЫЙ  УКАЗАТЕЛЬ 


А 

Адаптация  447 

Адаптивный  байесовский  под- 
ход 456 

Альтернатива  15 

— сложная  215,  335 
Апостериорное  распределение 

выборочных  значений 

Априорные  вероятности  при- 
нятия решений  27 

— — состояний  11 


Б 

Байеса  формула  '23 

Байесовская  оценка  127 
141 

параметра  экспоненци- 
ального распределения 
146 

— — параметров  нормально- 
го распределения  148 

" процедура  обучения 

459 

— функция  потерь  квадратич- 
ная 128,  131 

— простая  128,  130 

— — — прямоугольная  128, 
133 

— равная  модулю 
ошибки  128,  132 

— — симметричная  129, 

Белый  шум  196,  208,  227 

Бета-функция  91,  95 
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В 

Вариационный  ряд  100 
Вероятность  состояния  11 

— ложной  тревоги  328 

— ошибки  первого  рода  26,  37 

— — второго  рода  26,  37 

— перепутывания  372,  394 
правильного  обнаружения 

328 

— пропуска  сигнала  328 
Выборка  11,  16,  100 

— дискретная  200 

— коррелированная  330 
многомерного  распределе- 
ния 87,  172 

— нормального  процесса  202 

— огибающей  325,  353 

— размер  16 

— средний  при  последова- 
тельном анализе  44 

— разности  фаз  367 

— упорядоченная  100 

— фазы  325,  360 
Выборочные  значения  11 

— моменты  102 
Выделение  сигнала  324 


Г 

Гамма-функция  96 

— неполная  96 
Гипотезы  15 

— простые  15 

— сложные  15,  74 
Гистограмма  102 
Группирование  10! 


д 

Детектор  квадратичный  357 

— линейный  359 
Дисперсия  105 

— выборочная  103,  149 

— нижняя  граница  117 
Доверительный  интервал  120 

— предел  120 

— — верхний  120 

— — нижний  120 
Допплерово  смещение  частоты 

417 

— оценка  420 

— — дисперсия  421 
Достаточность  1 1 1 


3 

Закон  больших  чисел  105 


И 

Инверсия  169 

Интеграл  Вольтерра  307 

— Лапласа  38,  49 

— стохастический  192,  279, 

308 

Информационная  матрица  137, 
173 

— — нормального  распреде- 
ления 149 

Информация  (по  Фишеру)  1 1 6, 
235,  241 

— экспоненциального  распре- 
деления 145 


К 

Квадратурные  составляющие 
335 

Классификация  445 

— нормальных  распределе- 
ний 448 

Количество  информации  23 

— о неизвестном  параметре 
112 

Комплексная  огибающая  335 

Координаты  случайного  про- 
цесса 181 

— — — белого  шума  197 


Координаты  случайного  про- 
цесса комплексные  196 

— — — независимые  204 

— — — некоррелированные 
192 

Коррелометр  304 

Корреляционный  эллипсоид 
138,  486 

Коэффициент  доверия  120 

Критерий  Вилькоксона  169 

■ — — байесовский  20,  28 

— — двухпороговый  170 

— — информационный  24 

— — качества  11,  19 

- — Колмогорова  166 

— — максимального  правдо- 
подобия 23 , 32 

- — — максимума  апостериор- 
ной вероятности  23,  31,  69 

— — минимаксный  21,  72 

- — Мизеса  168 

— — минимума  среднего  квад- 
рата ошибки  278 

— — Неймана  — Пирсона  33, 
70 

- — Смирнова  169 

— согласия  163 

— хи-квадрат  165 


Л 

Линейная  система  279 

— — оптимальная  279 

— — физически  реализуемая 
286 

Линейные  интегральные  урав- 
нения 191,  203 

— собственные  функции  191 

— числа  191 
Ложная  тревога  328 


М 

Марковский  случайный  про- 
цесс 220 

— — — компонента  219 
Матрица  информационная  137, 

173 

— корреляционная  88,  173, 

253 

— обратная  информационной 
137 


495 


Матрица  платежная  28 
Метод  моментов  138 

— наименьших  квадратов  157 

— обнаружения  амплитуд- 
ный 326 

— — фазовый  326 

— угадывания  464 
Многоальтернативные  задачи 

выбора  решения  80 
Моменты  априорные  102 
• — выборочные  102 

Н 

Непараметрические  методы 
90,  446 

Нижняя  граница  дисперсии 
117,  151,  259 


О 


Область  допустимая  25 

— критическая  25 
Обработка  оптимальная  325 

— — додетекторная  326 

— — последетекторная  326 
Обнаружение  сигнала  324 
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